Vertex AI Search で各種データを投入し精度検証してみた

Vertex AI Search について

Google Cloud のVertex AI プラットフォームの一部です。企業が構築したデータを効率的に検索でき、ユーザーは自社のデータを高速かつ正確に検索し、必要な情報にアクセスすることができます。

詳細については、以前のブログ「Vertex AI Search (旧称 Gen App Builder の Enterprise Search) の日本語版を試してみた」をご覧ください。

検証環境

精度検証を始める前に今回の検証環境を簡単にご紹介いたします。

■Vertex AI Search アプリ情報
使用モデル：Gemini 1.5 Flash 1

■使用データ
・弊社で使用している Looker サンプルダッシュボード の PDF ファイル
・Looker に関する機能をテキスト形式でまとめた PDF ファイル

検証

では、早速検証を始めていきましょう！
検証用の質問文と模範解答を10個作成してみました。

後は質問を1つずつ Vertex AI Search に質問して回答を見てみましょう。

質問1：フィルタとはどのような機能ですか
レスポンス：フィルタを使用すると、表示するデータを興味のある項目に制限できます。
判定結果：正解

資料該当箇所：

質問2：アクションとはどのような機能ですか
レスポンス：アクションは、Looker からサードパーティのサービスにコンテンツを配信できる機能です。 Looker と既存のサービス（例えば Dropbox、Slack など）を結合するか、オリジナルのアクションを作成することで、データを自社サービスへ送信できます。 例えば、ダッシュボード上からメール配信アクションや別のダッシュボードへの遷移を実行できます。
判定：正解

資料該当箇所：

質問3：アクセスフィルタとはどのような機能ですか
レスポンス：アクセスフィルタは、特定のユーザー属性をデータフィルタとして使用できる機能です。 例えば、各ユーザーに企業名を割り当てて、ユーザーに表示される内容がその企業名でフィルタリングされるように設定することができます。 これにより、データアクセスを行レベルで制御することが可能です。
判定：正解

資料該当箇所：

質問4：アクセス許可とはどのような機能ですか
レスポンス：アクセス許可は、特定のユーザー属性を用いて、特定の Explore、結合、ビュー、フィールドへのアクセスをカスタマイズできる機能です。 ユーザー属性で許可される値を指定した上で、必要なアクセス権限を付与することができます。 これにより、データアクセスを列レベルで制御することが可能です。 例えば、[salary] ディメンションへのアクセスを [department] ユーザー属性に値 [payroll] を持つユーザーのみに制限するなど、データアクセスを列レベルで制御することが可能となります。
判定：正解

資料該当箇所：

質問5：Looker サンプルダッシュボードの機能を簡単にまとめてください
レスポンス：Looker サンプルダッシュボードは、フィルタ、アクション、アクセスフィルタ、アクセス許可などの機能を提供しています。
判定：正解

資料該当箇所：

質問6：売上ランキングにおける横浜の売上高を教えてください
レスポンス：売上ランキングで横浜の売上高は 7,212,808,504 円です。
判定：正解

資料該当箇所：

質問7：全店舗の会員数を教えてください
レスポンス：全店舗の会員数は 100 人です。
判定：正解

資料該当箇所：

質問8：月次売上・オーダー数において最もオーダー数が低いのはいつですか
レスポンス：月次売上・オーダー数において、オーダー数が最も低いのは 5 月です。
判定：不正解（資料では7月が最も低いため）

資料該当箇所：

質問9：Member の会員において男性と女性の割合を教えてください
レスポンス：会員の男女比は、男性が 57%、女性が 43% です。
判定：不正解（資料では男性が 68%、女性が 32% と記載してあるため）

資料該当箇所：

質問10：注文詳細においてAvery 519 の単価は何円と記載されていますか
レスポンス：注文詳細においてAvery 519 の単価は ¥7,310 と記載されています。
判定：不正解（資料では 1,462 円と記載してあるため）

資料該当箇所：

検証結果

回答の結果がそろったので、スプレッドシートにて結果をまとめてみました！

今回の検証では10 問中 7 問が正解となり、100％ には満たなかったものの正答率は 70％ と高い精度が出ました！

まとめ

いかがでしたでしょうか。
今回は PDF 資料をデータ投入して精度検証をして精度は 10 問中 7 問正解と高い結果を得ることができました。
プレーンテキストやグラフィカルな棒グラフ、簡単な表では正解率が高いことが分かりました！
しかし、複雑なグラフや表では正解が得にくいという傾向があるようです。
複雑なグラフや表の精度を上げる方法として CSV ファイルを一緒に投入することで精度向上できる方法などがあります。

こちらに関しては明日公開予定の「【もうRAGの精度で悩まない！①】Vertex AI Search でグラフや画像データを元にした回答精度を向上させるコツ」の記事で詳しく紹介されていますので、興味がある方は是非ご覧ください！

Google Cloud Next Tokyo'24 に最上位スポンサーとして出展します！

8/1-8/2にパシフィコ横浜ノースにて開催される Google 主催イベント、Google Cloud Next Tokyo'24 に最上位スポンサーとして出展いたします！

「生成 AI」をテーマにソフトバンクが実践している組織全体へ生成AIカルチャーを定着化させる取組みや、生成AI時代の快適なクラウド環境を実現するために必要な、高速・安定した通信、柔軟なネットワーク構成、セキュリティ対策まで、ソフトバンクの Google ソリューションの活用事例をご紹介します。

Google Cloud Next Tokyo ’24
2024年8月1日（木）～8月2日（金） 10時～17時30分（展示ブースは11時30分から）
パシフィコ横浜ノース　臨場開催　（地図）
無料（全来場者登録入場制）
※入場にはオンラインでの事前登録が必要です。

詳細・ご登録は 公式サイト からお願いします。申し込みの際は以下の招待コードを入力ください。
招待コード：FY24nx_pt031

ソフトバンクブース内では、Looker をテーマにしたミニセッションやデモをご案内しています。
ブースでお待ちしております！

Vertex AI DIYプランについて

Vertex AI Search を使って社内文書を検索する生成 AI を構築してみませんか？
ソフトバンクのエンジニアが構築をサポートします。

Vertex AI DIY プランでは、以下の3つのことをご体験いただけます。
詳細は、関連サービスにある「Vertex AI DIYプラン」をご確認ください。

関連サービス