Google 生成AI x OCR での検索技術の凄さ！ Vertex AI Search で OCR Parser を試し感動したお話！

生成 AI のスタータープランともいえる、「Vertex AI DIY プラン」をご利用中のお客さまからよくいただく相談は、【精度問題】です。

Vartex AIは、利用マニュアルをお渡しするだけで、お客さま自身ですぐ利用できるといったメリットがあります。しかし、検索対象のドキュメントに、図やグラフ、表が混ぜて含まれる場合、また、その複雑さが増すほど、正しい回答を導くには、プロンプトエンジニアリング（質問）を考慮しないといけない、データストアに投入するドキュメントの書き方を考えないといけない、API でしか実現できない機能があるなど課題が出てきます。場合によっては、最終的には、Vertex AI Search の検索結果の品質を向上するために用意されている  API (Ranking API や Grounded Generation API、Document AI Layout Parser API など) を組み合わせて RAG を自社用にカスタマイズ構築しないといけないケースもあります。

個別構築の RAG は、実装後の運用、メンテナンスを考えないといけません。

このように、使い始めるのは簡単でも、組織内で精度を向上させようとすると、様々な課題が出てきて、それを改善するというところに踏み出せない方も多いのではと思っています。

このように思っている皆様へ、本記事でお伝えしたいのは、日々の精度向上の取り組みの中で出会ったOCR Parserの凄さです。

私自身も Vertex AI Search の OCR Parser がプレビュー機能としてリリースされたときは、そこまで驚いてなかったのですが、生成 AI の精度向上への取り組みをし続ける中、OCR Parser の凄さ、特に検索精度に感動したので、ぜひ紹介したい！との想いで本記事の執筆を決めました。

研究対象のデータ種類は60種類以上、700ページに及ぶデータをもとに Vertex AI Search で精度分析をおこないました。今回の記事で紹介できるのはその中でもごく一部の内容ではありますが、3つのサンプルをもとに検索精度についてお話したいと思います。

なお、この記事では、Vertex AI Search の利用方法については言及しません。その概念や利用方法において、Vertex AI Agent Builder の使い方を学習できる技術解説記事まとめをご覧ください。

回答精度と検索精度について

本記事では、回答精度と検索精度の2点で評価をおこなっています。

回答精度は、質問に対して正しい回答をしているかどうかで評価します。

検索精度は、検索結果のトップに正しいドキュメントが出てくるか、および、正しいページ数を参照しているかで評価しています。

データの解析方法

Vertex AI Search には3つのデータ解析方法（パーサー）があります。

各パーサーが検出して解析できる要素は以下の通りです。

詳しい情報は、公式サイト ドキュメントを解析してチャンク処理する | Vertex AI Agent Builder | Google Cloud  をご確認ください。

今回はPDFに強みのあるOCR Parserを使って、いくつかの例で回答内容と検索内容をみてみましょう。

SWOT分布図を解析してみる

PDFにある SWOT 分布図を Vertex AI Search に加えて質問してみます。

【検索対象部分】

【質問】

【回答】

回答内容は、正解ですね！

【検索結果】

回答のソース元データの資料名とページ数も検索結果のトップに表示されていました。

テキスト・表・図が全部含まれている内容を解析してみる

複雑なレイアウトで、さまざまなコンテンツタイプが含まれているページから質問してみます。

【検索対象部分】
出典元は、「広報みなと 令和4年12月21日号」で2ページに質問元の情報があります。

【質問】

【回答】

惜しいですが、前半の回答はあっていますが、後半の回答は質問に関係のない部分から取ってきていました。

【検索結果】

次にデータソースをみてみましょう。

先述のように、一部不正解があるものの、回答元のデータソースは資料とページ数とも正しいです！

就業規則を解析してみる

今回は、社内文書検索のユースケースとして一番多い、人事規定から質問したいと思います。

【検索対象部分】
データの出典元は、厚生労働省のモデル就業規則の52ページの内容となります。

【質問】
今回は3ページを跨いだ内容を理解したうえで回答を出す必要がある質問をしてみました。

【回答】

こちらも惜しいですね！計算式への理解、推論ができていなかったのですが、データソースは正しく抽出できているように見受けられます。

【検索結果】

次に、データソースがあっているかみてみましょう！
資料とページ数とも正解ですね！

まとめ

今回の記事では、さまざまなデータ種類と膨大なデータをもとに RAG の精度向上への取り組みの中、Vertex AI Search の OCR Parser での検索精度に驚いた内容のごく一部を取り上げて、紹介しました。

今回は3つのサンプルにおいて、回答精度は1例は正解、2例は惜しい回答となりました。検索精度については3例とも正解でした。

ほかにももっと複雑なデータを解析してみましたが、オリジナルのPDFデータをそのまま Vertex AI Search のデータストアに入れても、検索精度は9割以上と、手軽さを考えると感動するレベルです。他のパーサーと比べても群を抜いています。

*RAG にとって難易度のあるコンテンツ種類とQAをもとに検証した結果です。

Vertex AI Search の Parser についての商材情報は、公式サイト ドキュメントを解析してチャンク処理する  を参照してください。

その一方で、検索精度に比較して回答精度は低く、模範解答に比べ過多回答や過少回答、推論ができていない問題も散見されました。特に推論に関する問題は、今話題になっている Thinking モデルが適用され、改善されていくことを期待していますが、今すぐに実現は難しいでしょう。

現時点では、OCR Parserを使ったRAGの精度としては、検索精度は十分満足するものですが、回答精度に課題があります。

OCR Parserを使ったRAGの回答精度改善方法

RAG に加えるドキュメントの中身、ページごとのコンテンツ、ページ前後の内容によって、精度は変化します。例えば、PDFを構造化された中間データに変換して同時に学習させるといったアプローチをすることで精度が高まることもわかっています。

ソフトバンクは、お客さまに寄り添った形で RAG の精度問題を解決していくために、さまざまな研究をおこない、個々のドキュメントへの精度を向上させるための独自な技術（特許取得済）を用いたRAG 精度向上オプションサービスをリリースしました！

記事の最後に「RAG 精度向上オプションサービス」の概要、および Vertex AI DIY プラン の一部として新規リリースした「マルチモーダル DIY プラン」の概要を記載していますので、最後までお読みいただけると幸いです。

RAG 精度向上オプションサービスの登場！

多く寄せられた「文書検索精度を改善したい」という顧客の声から生まれました！本サービスは、Vertex AI DIYプラン のRAGプランで使っている、Google Cloud のVertex AI Agent Builder 専用の精度改善オプションです。