フォーム読み込み中
近年、生成 AI の進化は目覚ましく、多くの企業で生成 AI サービスの業務活用が急速に進んでいます。
しかし、いざサービスを導入してみたものの、「本当に効率よく活用できているのか?」「どれくらいの頻度で、どのような目的で使われているのか?」といった、利用実態に関する疑問や悩みを抱えている方も少なくないでしょう。
導入効果の最大化やコスト最適化のためには、利用状況の正確な把握と分析が不可欠です。
本記事では、Google Cloud の統合AI プラットフォームである Vertex AI の利用ログを BigQuery に収集し、Looker Studio を用いることで、どのような指標やグラフを作成し、データに基づいた意思決定に役立つインサイトを得られるのか、具体的な方法を紹介します。
Vertex AI の Gemini モデルを例に挙げ、生成 AI の利用状況を Looker Studio を用いて、可視化・分析できるようにします。
Vertex AI が利用された日時や使用中のモデル、ユーザーが投げた質問およびその回答を Looker Studio で確認できるようにします。
※本記事で紹介するのは一つの参考事例です。分析したい内容や生成 AI モデルと導入時のAPI の仕様変更により、作成できるダッシュボードの内容は異なります。
Vertex AI の利用状況をダッシュボードで可視化するまで、以下の 3 ステップで構成されます。
任意のプロジェクトの BigQuery にアクセスし、BigQuery データセットおよびテーブルを作成します。
プロジェクトIDの「︙」を押下し、「データセットを作成」を選択します。
データセットの名前とリージョンを決め、作成します。
作成したデータセットの「︙」を押下し、「テーブルを作成」を選択します。
設定はデフォルトのままで、テーブル名を決め、作成します。
次に、ローカル環境に以下の内容の JSON (request.json) を作成します。
ここでは、どの BigQuery テーブルにログを集約するのかを指定します。
{
"publisherModelConfig": {
"loggingConfig": {
"enabled": true,
"samplingRate": 1.0,
"bigqueryDestination": {
"outputUri": "bq://<テーブルID>"
},
"enableOtelLogging": true
}
}
}
そして request.json の格納先ディレクトリで、以下のコマンドを実行します。
どのプロジェクトの Vertex AI で、どの AI モデルのログ記録を有効化するのかを設定し、ログの出力先として、先ほど作成した request.json を適用しています。
詳細な設定方法は公式ドキュメント:ベースの基盤モデルのリクエスト / レスポンスログをご参照ください。
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://<ENDPOINT_PREFIX>aiplatform.googleapis.com/v1beta1/projects/
<プロジェクト ID>/locations/<リージョン>/publishers/google/models/<モデル>
:setPublisherModelConfig"
複数のモデル名を設定したい場合は、
<モデル>部分を書き換え、一つずつコマンドを実行してください。
実行すると、作成した BigQuery テーブルにスキーマが作成され、Vertex AI が利用される度にリアルタイムでログが記録されます。
次に、ログが記録されている BigQuery テーブル を Looker Studio に接続します。
ここでは、BigQuery テーブルにあるデータから、クエリで必要なデータを抽出し、データソースとして Looker Studio に追加します。
そのため、可視化する内容に応じて、BigQuery テーブルの集計や Looker Studio 側でのカスタムクエリ構築が必要になる場合があります。
接続方法と必要なデータの抽出方法に関しては、以下の記事の「3.Looker Studio で Agent ログを可視化」で解説されていますのでご覧ください。
Vertex AI Agent Builder のログを Looker Studio で分析してみた
いよいよ、本題である Looker Studio を使用したデータの可視化に進みます。
以下の公式ドキュメントで、Looker Studio の操作方法をご参照ください。
Looker Studio の使い方を確認する
こちらが、今回作成したダッシュボードの全体像です。
全体構成として、4つのセクションに加え、全体に共通して適用される2種類のフィルターを設けています。
なお、例示しているログは、どのように可視化できるのかをを示すためのデモデータであり、一部手動で作成しています。実際のログ内容は、AI モデルや API の仕様の変更によって異なりますのでご了承ください。
モデル、期間の選択ができます。
これにより、使用された AI モデルの精度や、指定した期間内における利用傾向を絞り込んで分析できるようになり
左から
これらの指標がダッシュボード上部のKPIサマリーとして機能し、利用規模やコスト、パフォーマンス、安全性の観点からサービスを一目で評価できます。
利用料金の最適化とサービス応答性の改善に必要なデータを分析します。
これらにより、サービスの導入効果を最大化するための具体的な改善策や、ユーザーニーズに基づいた次なるビジネス施策の立案に役立てられます。
AI モデルの応答品質と安全性を詳細に評価できます。
いかがでしたでしょうか。
本記事では、Vertex AI の利用ログを BigQuery に収集し、Looker Studio を用いることで、どのような指標やグラフを作成し、データに基づいた意思決定に役立つインサイトを得られるのか、具体的なソリューションを紹介しました。
Vertex AI に限らず、利用状況のログを BigQuery に送信できるサービスであれば、他のモデルでも応用可能です。
例えば、Gemini Enterprise や NotebookLM Enterprise は、BigQuery にログが記録でき、同様の手法で可視化することができます。
この記事を通じて、皆さまの AI 活用がより戦略的かつ効率的になるための一助となれば幸いです。
そしてソフトバンクでは、このようなログ分析・可視化をはじめとする生成AI による顧客ビジネスの発展を支援しています。
ぜひソフトバンクまでお気軽にお問い合わせください。皆様のビジネス成長をサポートいたします。
Vertex AI Search を使って社内文書を検索する生成AIを構築してみませんか?
ソフトバンクのエンジニアが構築をサポートします。
Google の生成AIの導入を考えている方はもちろん、どのようなものか確認したいという方でもご活用いただけます。
Looker は定義から集計、可視化の一連のデータ分析プロセスをカバーする BI ツールを超えるデータプラットフォームです。ソフトバンクは、顧客のニーズに合わせて柔軟なサポートを提供し、Looker を活用したデータドリブンな企業変革を支援しています。
Google サービスを支える、信頼性に富んだクラウドサービスです。お客さまのニーズにあわせて利用可能なコンピューティングサービスに始まり、データから価値を導き出す情報分析や、最先端の機械学習技術が搭載されています。
MSP(Managed Service Provider)サービスは、お客さまのパブリッククラウドの導入から運用までをトータルでご提供するマネージドサービスです。
条件に該当するページがございません