【Looker x GenAI】Looker の新しい機能「会話」を試してみた

機能の概要

1. 会話機能

Looker の「会話」機能は、自然言語で質問を入力するだけで、Looker が自動的に SQL クエリを生成し、データ分析結果を返してくれる機能です。これによりデータ分析のハードルが大幅に下がり、ビジネスユーザーによるデータ活用が促進されることが期待されます。複数の質問を連続して行い、前の質問の文脈を理解しながら回答を生成することができるのでよりインタラクティブなデータ分析が可能です。

2. データ エージェント

エージェント機能は、特定のデータソースに対して事前に指示を設定しておくことで、会話機能をより効率的に利用できる機能です。 例えば、「価格に関する質問は Retail Price フィールドを参照する」といった指示を設定することが可能で、システムプロンプトのような使い方ができます。

今回の検証内容

検証環境と目的

目的:

会話機能でどのようなデータ分析が可能か、Explore Assistant との違いを明らかにする

観点:

1. SQLと同等の分析が可能か

2. データ可視化の種類と表現力

3. 計算・比較処理の可否

4. 質問の意図を正しく理解し回答できるか

5. 応答速度

使用データセット: 

今回は、theLook eCommerce というデータセットを使用します。データセットは以下のように分類できます。

Core データ：流通センターや在庫商品、注文商品ユーザーなどのデータが含まれています

1. 会話機能

会話機能の使い方

以下が Looker のダッシュボード画面です。

こちらから左のサイドバーにある「会話」を押下します。

左上にある「会話を作成します」を押下するか、会話機能を開いた時に Explore が選択できるので、必要なデータセットを選んで会話を開始します。

会話を開始したら下記のような画面に遷移するので、下部のテキストボックスに質問文を入力して Enter あるいは右側のボタンを押下して質問します。

それでは、実際に行った質問とその回答と結果についてまとめていきます。

質問1: 商品をカテゴリー別に分けて、それぞれの数を円グラフにまとめてください

基本的な集計と可視化が可能かを検証します。円グラフでカテゴリー別の商品数の内訳を視覚的に把握したいと考えています。また、SQL の知識がなくても、簡単な自然言語でデータ分析が可能かを確認していきます。

結果

期待通りの円グラフが生成されました。自然言語から SQL への変換、集計、可視化がスムーズに行われました。カテゴリーは category 列を抽出して、商品数は count で集計されました。

応答時間: 約5秒

デバッグ情報: SQL クエリと実行結果を確認できます。2段階の処理(データ取得→グラフ生成)を経ていることが分かります。

質問2-a: カテゴリー別の平均単価を計算してください

会話機能がどの程度の複雑な計算に対応できるかを検証していきます。カテゴリー別の平均単価という、単純な集計だけでなく計算処理を必要とするタスクを自然言語で指示できるかを確認します。

結果

各カテゴリーの商品毎の価格一覧は表示されましたが、平均値は計算されませんでした。より具体的な指示が必要かもしれません。

質問2-b: 各カテゴリーの価格平均を出してグラフにしてください

2-aで期待する結果が得られなかったため、言い回しを変えて質問し、会話機能の柔軟性も試していきます。

結果

質問2-aを言い換えたところ、期待通りの棒グラフが生成されました。

応答時間: 約30秒

質問2-c: 中央値も加えてください

会話履歴を参考にしてクエリ作成ができることを確かめるために質問します。

文脈を理解していたら、中央値をグラフに追加できるはずです。

結果

期待通りの結果が出力されました。

実際に Google SpreadSheet を使って計算してみたところ正しい結果でした。

応答時間: 約30秒

質問3: 男性用と女性用、どちらの方が製品が多いですか？

比較や演算と結果の解釈能力を検証します。男女どちらの製品が多いかという、比較を含んだ質問に正しく回答できるか、そしてその結果を自然言語で分かりやすく説明できるかを試していきます。

結果

男女別の製品数を集計し、女性用の方が多いという結果が正しく表示されました。 SQL クエリも確認し、正確性が担保されていることを確認できました。

応答時間: 約16秒

生成できるグラフ

棒グラフ、円グラフ、折れ線グラフなど基本的なグラフに加え、一部チャート図も作成可能です。

データエージェントの管理

会話機能の画面の左部分に「エージェントの管理」というタブがあります。

特定のデータセットについての設定をすることで期待する結果を得られやすくすることができます。

以下が「エージェントの管理」の画面です。右上の「エージェントの作成」のボタンを押下します。

エージェントを作成すると以下の画面へ遷移します。

こちらではエージェントの名前や説明、手順を記入することができます。

手順では様々な指示が可能です。機能の概要で紹介したシステムプロンプトのような指示が可能ですし、出力するグラフの色をあらかじめ指示することも可能です。

2. Explore Assistant

比較のために Explore Assistant についても解説します。

Explore Assistant は、自然言語による問い合わせに基づいて、Looker の Explore を動的に生成する拡張機能です。あらかじめ用意されたプロンプトを選択または入力することで、データ探索を支援します。Explore の生成には、Looker の特徴である「共通の指標で、誰もが同じ分析結果を得られる」という強みを最大限に活かすことができます。

質問内容に応じて、最適なグラフを自動的に生成します。棒グラフ、折れ線グラフ、散布図、円グラフなど、様々なグラフ形式に対応しており、データの傾向やパターンを視覚的に把握できます。

会話機能とは違い、デフォルトで搭載している機能ではなく、デプロイが必要で、会話機能のようなエージェント機能はありません。

Explore Assistant について詳しくは以前の【Looker x 生成AI】Explore Assistant で始める自然言語データ探索記事をご覧ください。

上記画像が Explore Assistant を開いた時の画面です。Explore に使用したいデータセットを選択してプロンプトを投げかけます。会話機能とは違って、自然言語を高度に解釈することができないようです。

質問1:年代別の人数を教えてください

各年代の人数の分布を把握したい。それからシンプルな集計と可視化機能を検証します。

結果

期待通りの集計をしてくれました。ビジュアリゼーションの種類を選択可能で、棒グラフや円グラフなども選択できます。投げかけたプロンプトに対してソートした結果を右側で確認することができます。

質問2:性別分布を教えてください

年代別の性別分布に答えてくれることを期待して質問します。

結果

全体の性別分布を答えてくれました。質問が曖昧だったからなのか期待通りに答えてくれませんでした。次の質問で明示的に年代別を入れて質問したいと思います。

質問3:各年代別の性別分布を教えてください

質問2での質問をより具体的に示しました。今度こそ年代別の性別分布を答えて欲しいです。

結果

より具体的に質問することで期待通りのデータを示してくれました。

3. 会話機能と Explore Assistant の比較

今回の検証によって分かった、両者の主な違いは以下の通りです。

会話機能は、連続した会話で文脈を理解しながら分析を進められる点が優れています。 SQL を書かなくても普段使っている言葉で質問できるのでデータ分析の初心者でもデータ分析が容易にできます。また、複数ステップの分析も自然言語で指示ができます。

Explore Assistant は、安定性と応答速度、グラフの保存・ダウンロード機能で優れています。シンプルな質問に素早く回答することに特化しているので、例えばダッシュボード的に特定の KPI をチェックする用途などに向いていると考えられます。

グラフの色変更について

会話機能では具体的に指示すると色の変更を行うことができます。

Explore Assistant はグラフの色をCSSライクな記述で変更が可能です。

チューニング可否について

どちらも直接的なパラメータ調整のようなチューニングはできませんが、提供する情報や動作をある程度コントロールする方法はあります。

共通のチューニング要素としてLookMLの活用があります。

LookMLでメジャーやディメンションを適切に定義することで精度向上に繋がります。特に、ビジネス用語に合わせたメジャーやディメンションを定義しておくことが有効です。

※1 会話機能

エージェントの活用

特定のデータソースに対して、下記のような情報をエージェントに設定することで、会話機能の理解度と回答精度を高めることができます。

重要なフィールドの指定: 分析に使用する主要なフィールドを明示的に指定します。

使用しないフィールドの指定: 分析に不要なフィールドを指定することで、ノイズを減らし、精度の向上に繋がります。

フィールドの同義語・類義語の定義: "売上" と "収益" のように、同じ意味を持つ異なる表現を登録することで、より柔軟な自然言語入力に対応できます。

計算方法や集計方法の指定: 特定のメトリックの計算方法を事前に定義しておくことで、計算ミスを防ぎ、一貫した結果を得られます。

推奨の可視化方法の指定: 特定のデータに対して、推奨のグラフの種類を指定できます。

※2 Explore Assistant

プロンプトの選択: Explore Assistantは、あらかじめ用意されたプロンプトを選択することで、特定の分析タスクを簡単に実行できます。分析の目的に合ったプロンプトを選択することで、より適切な結果を得られます。

考察とまとめ

Looker の会話機能は、SQL の知識がなくてもデータ分析を可能にするという点で、非常に強力なツールです。まるで会話をするように自然言語で質問を投げかけるだけで、データ分析結果を得られる手軽さはとても素晴らしいものです。

しかし、今回の検証でも明らかになったように、現時点ではまだ発展途上であり、安定性や応答速度に課題が残ります。分析中に応答が途切れる不具合が発生するなど、実用上の安定性については更なる改善が求められます。また、複雑な質問に対する理解力や応答速度にも改善の余地があります。

今後の改善点としては、以下の点が挙げられます。

・グラフのコピーや出力:現状では出力されたグラフをコピーやエクスポートするができず、svg としてグラフが描画されています。今後グラフ全体がコピーできたり、画像等に出力されたり、全体をGoogle スライドや Microsoft PowerPoint としてエクスポートできれば、資料作成時などの場面で活用できます。

・より複雑な質問への対応力の向上: 今回の検証では、平均値の算出など、一部の質問で意図した結果を得るために質問の言い回しを工夫する必要がありました。より複雑な質問や計算にも対応できるようになれば、データ分析の可能性が大きく広がります。

・不具合発生率の低減と安定性の向上: 実運用で安心して利用するためには、不具合発生率の低減と安定性の向上が不可欠です。

・応答速度の向上: 特に複雑な質問の場合、応答速度が遅くなる傾向がありました。より高速な応答速度が実現すれば、データ分析業務の効率化に繋がります。

Explore Assistant との使い分けについても検討する必要があります。Explore Assistant は、シンプルな質問に対して高速かつ安定した回答を提供することに特化しています。例えば、日々の KPI ダッシュボード的な確認や、簡単なデータの傾向把握などには Explore Assistant が最適です。一方、会話機能は、複雑な質問や探索的なデータ分析に適しています。現時点では、両者の特性を理解し、状況に応じて使い分けるのが効果的でしょう。

将来的には Google Workspace との連携強化にも期待したいです。会話機能の分析画面からスプレッドシートやスライドなど、分析結果を直接出力できるようになれば、データ活用の幅が大きく広がるでしょう。

このように、会話機能は大きな可能性を秘めた機能ですが、現状では Explore Assistant との使い分けや、今後の改善に期待する部分も少なくありません。今後の進化に注目しつつ、まずは現状の機能を最大限に活用していくのが良いでしょう。

無料で始める、Vertex AI DIYサービスが大幅アップデート！

従来のVertex AI Search（現名称：RAG）に加え、マルチモーダルプランが新登場。マルチモーダルプランは、「Vertex AI Studio をエンドユーザに使わせたい！」、「新しいモデルを利用したい！」という顧客の声から生まれました！

RAG 精度向上オプションサービスの登場！

多く寄せられた「文書検索精度を改善したい」という顧客の声から生まれました！本サービスは、Vertex AI DIYプラン のRAGプランで使っている、Google Cloud のVertex AI Agent Builder 専用の精度改善オプションです。

Vertex AI DIYプランについて

Vertex AI Search を使って社内文書を検索する生成 AI を構築してみませんか？
ソフトバンクのエンジニアが構築をサポートします。

Vertex AI DIY プランでは、以下の3つのことをご体験いただけます。
詳細は、関連サービスにある「Vertex AI DIYプラン」をご確認ください。

関連サービス