法人のお客さま
お問い合わせ
ビジネスブログ

Vertex AI Agent Builder のログを Looker Studio で分析してみた

Google Cloud プロダクト 技術チーム

Google Cloud プロダクト
技術チーム

2024年7月30日掲載

Weekly Google Cloud アップデート情報

皆様、こんにちは。

Google の Vertex AI Agent Builder では独自のデータを使用した検索アプリを作成することができます。詳細については「Vertex AI Search で各種データを投入し精度検証してみた」をご覧ください。


Agent Builder のログはアプリ内の設定で BigQuery に出力することができます。

今回は、Agent Builder のログを BigQuery に出力し、そのログデータを Looker Studio で可視化してみました。

アプリが利用された日時や使用中のモデル、ユーザーが投げたプロンプトおよびその回答を Looker Studio で確認できるようにします。

 

設定手順は下記のとおりです。

  1. Agent Builder の BigQuery Export 設定

  2. 出力されたログデータの確認

  3. Looker Studio で Agent ログを可視化

目次

１．Agent Builder の BigQuery Export 設定

まずはログデータ出力用の BigQuery テーブルを作成します。

任意のプロジェクトの BigQuery にアクセスし下記クエリを実行します。

データセットが未作成の場合は、データセットの作成を先に行ってください。

CREATE TABLE <your_dataset_name>.<your_table_name>(
  project_id STRING,
  agent_id STRING,
  conversation_name STRING,
  turn_position INTEGER,
  request_time TIMESTAMP,
  language_code STRING,
  request JSON,
  response JSON,
  partial_responses JSON,
  derived_data JSON,
  conversation_signals JSON,
  bot_answer_feedback JSON
)
PARTITION BY
  DATE(request_time)
実行画面イメージ

クエリ実行後、空のテーブルが作成されます。

次に Google Cloud コンソールから [Agent Builder] にアクセスし、任意の作成済み エージェントアプリを開きます。

[Setting] > [Logging] にアクセスしログの有効化と BigQuery Export の設定を行います。

■ Logging settings（ログ設定）

・Enable Cloud Logging ：有効化

・Enable Conversation History：有効化

※BigQuery Export を有効にする場合は Enable Conversation History も有効にする必要があります

 

■ BigQuery export（BigQuery Export 設定）

・Enable BigQuery export：有効化

・BigQuery dataset：Export 用に作成したテーブルのデータセット名

・BigQuery table：Export 用に作成したテーブル名

２．出力されたログデータの確認

BigQuery Export の設定を保存した後にプロンプトを投げると、作成したテーブルにアプリのログデータが自動的にエクスポートされるようになります。

BigQuery テーブルに出力されるデータは下記のとおりです。

カラム名

型

説明

project_id

STRING

プロジェクトID

agent_id

STRING

エージェントID

conversation_name

STRING

セッションの完全修飾リソース名

turn_position

INTEGER

会話のターン番号

request_time

TIMESTAMP

会話のターンの時間

language_code

STRING

言語コード

request

JSON

インテント検出リクエスト

response

JSON

インテント検出レスポンス

partial_responses

JSON

部分的な回答（該当する場合）

derived_data

JSON

この会話ターンの追加のメタデータ

conversation_signals

JSON

NLU 関連の分析データ

bot_answer_feedback

JSON

フィードバック回答

JSON 型の request や response の中にプロンプトや回答内容、モデル情報など詳細なデータが含まれています。

３．Looker Studio で Agent ログを可視化

アプリのログがたまった BigQuery テーブル を Looker Studio と接続してアプリのデータを可視化していきます。

Looker Studio にアクセスし、コネクタとして BigQuery を選択します。

アプリを利用したユーザーやプロンプトの内容、それに対する回答をダッシュボードに表示したい場合、JSON 型のままでは Looker Studio でデータを表示することができません。

そのため JSON データの中から可視化に必要なデータを抽出するカスタムクエリを使用してデータソースを追加します。

今回は JSON データからのデータ抽出に JSON_EXTRACT_SCALAR 関数を使用しました。その他の関数についてはドキュメントを参照してください。

カスタムクエリイメージ

データソースを追加したので可視化をしていきます。

今回はシンプルにログデータを表形式で見られるようにしました。

誰がいつどのような質問をしたのか、その質問に対してどのモデルを利用してどんなレスポンスを得たのかを見ることが可能です！

上記のダッシュボードで確認できる項目は下記のとおりです。

項目

説明

日時

プロンプトが投げられた日時

デフォルトはUTC時間のため適切な時間に変更する必要があります

プロジェクト名

Agent アプリを作成したプロジェクト

エージェントID

Agent アプリのID

例）a0bc0000-0000-0de0-f000-00g00h000000

モデル

Agentアプリで使用されたモデル

例）gemini-pro、text-bison-002

チャンネル

Agentアプリの統合先

例）DF_CX_GOOGLE_CHAT は Google Chat

　　DF_MESSENGER はウェブサイト

スペース名

Google スペースの名前

統合先が Google スペースの場合にのみ入る

ユーザー

Agent アプリを使用したユーザー名

メールアドレス

Agent アプリを使用したユーザーのメールアドレス

会話ID

アプリとユーザーのやりとりのID

１回の会話で複数回プロンプトを投げた場合は同じIDが入る

会話ターン

アプリとユーザー間のやりとりの回数

最初に投げたプロンプトは必ず「１」となり、同じ会話ID内でプロンプトを投げるたびに+1となる

※各会話最大500ターンまでエクスポート可

入力

ユーザーが投げたプロンプトの内容

出力

プロンプトに対する回答

おわりに

いかがでしたでしょうか。

本記事の執筆時点では、アプリの統合先によってユーザーの情報やモデルの情報といったログが取得できない場合もあり、今後の改修に期待したいと思います。

 

Agent アプリのログを BigQuery にエクスポートし、Looker Studio で可視化する仕組みは簡単に構築できます。

さらに、BigQuery へログを貯めているのでログの保存期間も自由に決められていいですね！

Agent アプリを利用する場合はぜひ BigQuery Export を活用してみてください。

本記事がその一助となれば幸いです。

Google Cloud Next Tokyo'24 に最上位スポンサーとして出展します！

SoftBank は Google Cloud Next Tokyo'24 に最上位スポンサーとして出展します

8/1-8/2にパシフィコ横浜ノースにて開催される Google 主催イベント、Google Cloud Next Tokyo'24 に最上位スポンサーとして出展いたします！

「生成 AI」をテーマにソフトバンクが実践している組織全体へ生成AIカルチャーを定着化させる取組みや、生成AI時代の快適なクラウド環境を実現するために必要な、高速・安定した通信、柔軟なネットワーク構成、セキュリティ対策まで、ソフトバンクの Google ソリューションの活用事例をご紹介します。

Google Cloud Next Tokyo ’24
2024年8月1日（木）～8月2日（金） 10時～17時30分（展示ブースは11時30分から）
パシフィコ横浜ノース　臨場開催　（地図）
無料（全来場者登録入場制）
※入場にはオンラインでの事前登録が必要です。

詳細・ご登録は 公式サイト からお願いします。申し込みの際は以下の招待コードを入力ください。
招待コード：FY24nx_pt031

ソフトバンクブース内では、Looker をテーマにしたミニセッションやデモをご案内しています。
ブースでお待ちしております！

Vertex AI DIYプランについて

Vertex AI Search を使って社内文書を検索する生成 AI を構築してみませんか？
ソフトバンクのエンジニアが構築をサポートします。

Vertex AI DIY プランでは、以下の3つのことをご体験いただけます。
詳細は、関連サービスにある「Vertex AI DIYプラン」をご確認ください。

SoftBank Vertex AI Search DIYプランのご紹介

関連サービス

Vertex AI DIYプラン

Vertex AI Search を使って社内文書を検索する生成AIを構築してみませんか？
ソフトバンクのエンジニアが構築をサポートします。
Google の生成AIの導入を考えている方はもちろん、どのようなものか確認したいという方でもご活用いただけます。

Google Cloud

Google サービスを支える、信頼性に富んだクラウドサービスです。お客さまのニーズにあわせて利用可能なコンピューティングサービスに始まり、データから価値を導き出す情報分析や、最先端の機械学習技術が搭載されています。

MSPサービス

MSP（Managed Service Provider）サービスは、お客さまのパブリッククラウドの導入から運用までをトータルでご提供するマネージドサービスです。

 ＼ 業務課題をデジタルで支援 ／

デジタルツールの選定から導入の手引きまで、中小規模のお客さまへわかりやすくお伝えします。

中小規模のお客さま向けサイトをみる

メールマガジン登録（無料）
ビジネスに役立つ記事やウェビナー情報をお届けします。

おすすめの記事

条件に該当するページがございません

法人のお客さま向け イベント

イベント・セミナー

ビジネスに役立つ 資料ダウンロード

資料ダウンロード

「今」と「未来」を発信 ソフトバンクのビジネスブログ

ビジネスブログ

クラウドテクノロジーブログ

クラウドテクノロジーブログ