Vertex AI Studio (旧称：Generative AI Studio )でマルチモーダルの凄さを体験しよう！

システム指示を加えて一般的な質問してみる

マルチモーダルでは、モデルが理解しやすいようにシステム指示を事前に入力することが可能です。

システム指示を加えたうえで、質問してみました。
質問：BigQuery を使った上でのベストプラクティスを教えてください。
レスポンスは以下の通り、わかりやすく返ってきました。

これぐらいは Google 検索でも十分情報を探せると思われるかもしれません。
マルチモーダル！というと画像や動画の分析もできるというイメージが強いかと思います。

それでは今回は画像を入力してみたいと思います！

画像を分析してみる

分析対象画像

上の画像に何があるか聞いてみたら、「画像には道路が写っており、複数の自動車が走行しています。道路は濡れており、雨模様のようです」とのレスポンスがきました。

シーンにあった描写ですね！

動画を分析してみる

今回は動画をインポートして動画の内容を聞いてみたいと思います。

分析対象動画

AGI に関する説明である、とのことできちんと動画の中身を理解したうえでの回答が返ってきました。

いかがでしょうか。

画像や動画は分析の API やツール、サービスもたくさんあり、これぐらいはほかにもできるのでは？と思うかもしれません。

ここからは個人的に皆様のビジネスにもっとも役に立つのでは？と思っている機能をご紹介したいと思います。

近年の生成AIの流行に伴い、「グラウンディング（Grounding）」というキーワードを耳にする機会が増えました。グラウンディングは、人工知能（AI）、特に大規模言語モデル（LLM）の分野で重要な概念です。簡単に言えば、AI の出力を現実世界の情報や文脈に「接地」させる（ground）プロセスのことを指します。

Vertex AI Studio では、文書を取り込んで簡単にグラウンディングさせることが可能です。
つまり、指定文書の情報を Google の最新 LLM モデル (Gemini の最新バージョン)を利用して、回答生成させることができます！

それでは早速試してみたいと思います。

PDFを直接取り込んでグラウンディングしてみる

やり方は簡単です！
まず、資料にない情報には回答しないようにシステム指示を記載しておきます。

次はドラッグ＆ドロップでローカルの資料を プロンプト にインポート、もしくはCloud Storage や Google ドライブから資料をインポートします。

当社の Looker 売上分析のサンプルダッシュボードの資料をインポートして質問してみたいと思います。Looker 売上分析のサンプルダッシュボードについては、近日公開予定の「【Looker】サンプルダッシュボードを作成してみた」記事をご参考ください。

質問：売上ランキングが一番高い地域、Top3を教えてください。

レスポンスイメージです。

回答があっているかどうか資料の中身を確認するとグラフに対する正確な情報を出してくれたので、大変驚きました！

今回は資料にない質問、富士山の高さについて質問してみたところ、ちゃんと情報がない旨が返ってきました。

Vertex AI Search のデータストアと連携してグラウンディングしてみる

複数の資料をもとにグラウンディングさせたい場合、毎回プロンプト画面でファイル1個ずつインポートするのは面倒ですよね。

それで最後にご紹介したいのは、Vertex AI Search のデータストアと連携してグラウンディングする方法です！

Vertex AI Search およびデータストアに関しては記事最後にある関連記事をご参考ください。

データストアの設定方法も簡単です！
Vertex AI Studio 画面の右メニューより、グラウンディングをONにして対象のデータストアを設定しておくだけです。

さらにプロンプトを保存しておけば、毎回設定する必要なく、マイプロンプトより保存したプロンプトを開くだけで、グラウンディング設定完了の前提で使えるので大変便利です！

同じ質問をしてみたいと思います。

正解ですね！

また資料にない情報もきちんと情報がないと回答されていました！

そのほかにも、Vertex AI Studio では簡単にモデル変更したり、パラメータ調整したりすることができます。

資料の中身によってはモデルやパラメータを変更することで回答の精度が変わってきますので、データソースの資料に一番ベストなモデルとパラメータを探すときも便利ですね。

まとめ

今回は Vertex AI Studio のさまざまな利用方法をご紹介しました。

特に Google Workspace ご利用のお客様にとっては、Google Drive にある資料を直接取り込むことができるので大変便利、かつ気軽に触れる生成 AI ツールなのではと思います。

それ以外に生成 AI の RAG を構築するときに、Google の最新 AI モデルの検証やパラメータ調整を行う時にもご活用できると思います。

また、必要なチームメンバーに権限を付与し、予め設定・保存したプロンプトを利用させることもできます。

次回は Vertex AI Studio を当社の Google Cloud 無償サービスである Vertex AI DIY プランと合わせて利用することで、さらに精度 Up した RAG の構築方法「もうRAGの精度で悩まない！Vertex AI Search でグラフや画像データの精度を向上させるコツ」をご紹介したいと思います。

お楽しみに！

Google Cloud Next Tokyo'24 に最上位スポンサーとして出展します！

8/1-8/2にパシフィコ横浜ノースにて開催される Google 主催イベント、Google Cloud Next Tokyo'24 に最上位スポンサーとして出展いたします！

「生成 AI」をテーマにソフトバンクが実践している組織全体へ生成AIカルチャーを定着化させる取組みや、生成AI時代の快適なクラウド環境を実現するために必要な、高速・安定した通信、柔軟なネットワーク構成、セキュリティ対策まで、ソフトバンクの Google ソリューションの活用事例をご紹介します。

Google Cloud Next Tokyo ’24
2024年8月1日（木）～8月2日（金） 10時～17時30分（展示ブースは11時30分から）
パシフィコ横浜ノース　臨場開催　（地図）
無料（全来場者登録入場制）
※入場にはオンラインでの事前登録が必要です。

詳細・ご登録は 公式サイト からお願いします。申し込みの際は以下の招待コードを入力ください。
招待コード：FY24nx_pt031

ソフトバンクブース内では、Looker をテーマにしたミニセッションやデモをご案内しています。
ブースでお待ちしております！

Vertex AI DIYプランについて

Vertex AI Search を使って社内文書を検索する生成 AI を構築してみませんか？
ソフトバンクのエンジニアが構築をサポートします。

Vertex AI DIY プランでは、以下の3つのことをご体験いただけます。
詳細は、関連サービスにある「Vertex AI DIYプラン」をご確認ください。

関連サービス