Vertex AI Search で Gmail をデータストアのソースとして繋いで試してみた

Gmail をデータストアとして接続する方法

Vertex AI Search の基本的なアプリ構築方法については、こちらの記事「ノーコードでVertex AI Search を利用してGoogle サイトでRAG構築してみた」を参照してください。

今回は、Gmail をデータストアとして接続する方法を簡単に紹介します。

Vertex AI Agent Builder 内でアプリを作成する際に、種類として [検索] を選択した後、データストアを選択する際に [データストアを作成] ボタンをクリックします。

データストアの種類を選択する画面に遷移するので、下にスクロールしたところにある [Google Gmail] を選択してください。

その後、データストア名を入力して [作成] ボタンを押すと Gmail と接続したデータストアが作成されるので、それを選択したアプリを構築すれば完成です。

検索結果

では、データストアとして Gmail を選択したVertex AI Search アプリを用意して、さっそく試してみましょう！

今回は、テキスト・画像・ PDF 内データ等で検索できるか、from: や to: などの検索演算子を使用することができるかなどが分かるような質問文・模範解答を作成しました。

テキスト検索

まずは、テキスト文の検索ができるかを試しました。

以下のAGIに関する文章をメールで送信し、AGIについて正しい回答が返ってくるか確認しました。

質問1：AGIの特徴は？

回答：AGIの特徴は、限定された特定のタスクや領域における知能ではなく、様々なタスクや領域での知能を広範に適応できる能力を持つことです。

判定結果：正解

メール文に基づいた回答が返ってきています。

では、もう少し具体的な質問を投げかけてみましょう。

質問2：AGIの開発に必要な分野は何ですか？

回答：結果が見つかりませんでした。検索語句を修正してください。

判定結果：不正解

こちらでは全く正しい回答が出力されない結果となりました。

どうやら、単語やごく単純な質問では検索できる一方、少し具体的または複雑な質問文には対応していないようです。

画像検索

次に、画像から検索ができるかどうか試してみましょう。

以下の東京の天気についての情報が記されている画像が添付されたメールを準備し、検索できるかどうか確認しました。

質問3：東京の天気は？

回答：東京の天気は季節によって大きく異なります。 春は気温が上昇し、桜の季節として知られています。 比較的乾燥しているため、過ごしやすい季節です。 夏は高温多湿で、梅雨の期間もあり、降水量が増加します。 秋は過ごしやすい気候で、気温が下がり始め、爽やかな季節となります。

判定結果：正解

メールに添付される画像からも検索することは可能でした。

PDF 内検索

では、添付されているPDF内のテキストを検索することはできるのでしょうか？

以下のようなPDF内の文章を検索できるのか試してみました。

質問4：健康を保つためには？

回答：健康を維持するためには、バランスの取れた食事、適度な運動、十分な睡眠、そしてストレスの管理が重要です。バランスの取れた食事は、様々な栄養素を適切な割合で摂取することで、健康な体を維持するのに役立ちます。適度な運動は、体力を向上させ、免疫力を高める効果があります。十分な睡眠は、体を回復させるための重要な時間であり、睡眠不足は健康リスクにつながる可能性があります。ストレスは体や心に悪影響を与えるため、適切な管理方法を見つけることが重要です。これらのポイントを意識することで、より健康で充実した生活を送ることができるでしょう。 

判定結果：正解

PDF内のテキストも、問題なく検索できました。

その一方で、PDF内の画像や表の情報は検索することができませんでした。

その他

その他、いくつかのケースを試してみました。

対象メールをゴミ箱や迷惑メールフォルダに入れると、検索結果に表示されないようになっていますが、受信トレイや下書きフォルダでは検索結果として検出されます。

また、メール内の表も正しく読み取って正しい検索結果を返すことを確認しました。

一方で、Gmail 内では利用することができる from: や to: などの検索演算子を使用すると、検索結果は表示されませんでした。また、返信スレッドが複数あるメールの件名からやりとりを要約してほしいと入力しても、正しい結果は返ってきませんでした。

まとめ

以下に Gmail のデータストアを試してみた結果を検索対象ごとにまとめます。

メールで一般的に使用されるテキストや、添付されている画像・PDF の情報を Vertex AI Search で検索できることがわかりました！Gmail 内の情報をチャット形式で気軽に質問できるのは非常に便利ですね。

しかし、PDF内画像や表・検索演算子、またメール全体の要約などは検索することができませんでした。また、具体的または複雑な質問を入力すると、検索結果が表示されないこともあるので、注意が必要です。

ただまだプレビューで提供されている機能なので、今後のアップデートでの改善を期待しています。

考察

今回の検証結果をもとに、Vertex AI Search の Gmail データソースの役割について、少し考察してみました。

現状、Gmail データソースを用いた検索は、自然言語による文章検索ではなく、キーワード検索に限定されているように見受けられます。自然言語による検索は、メールの文脈を理解したり高度なアクションを可能にする上で重要な要素となるため、この制限は、Gmail データソースの機能が比較的シンプルなデータ抽出に焦点を当てていることを示唆しているのかもしれません。

そのため、Vertex AI Search における Gmail 接続は、Gmail データをあくまでデータソースとして利用し、そこから情報を抽出することに特化している可能性があります。

「返信していないメールを検索して」などといった、メールのステータス（未返信など）を検索したり、メールの内容から推論（依頼されたタスクなど）をしたり、メールのスレッドを要約する機能は、現状はできません。

Gmail ユーザーにとって、Vertex AI Search を利用することでさらに利便性や作業効率を向上させる機能がどんどん追加されることを期待しています。

今後 Gmail をデータソースとした Vertex AI Search の機能がどのように進化していくのか、注目していきたいですね！

Vertex AI DIYプランについて

Vertex AI Search を使って社内文書を検索する生成 AI を構築してみませんか？
ソフトバンクのエンジニアが構築をサポートします。

Vertex AI DIY プランでは、以下の3つのことをご体験いただけます。
詳細は、関連サービスにある「Vertex AI DIYプラン」をご確認ください。

関連サービス