RAGの回答精度改善に最も必要なデータ改善のイロハ 〜75%の精度向上させた秘訣～

データ改善の有効な順番と注意点

データ改善は以下の順番でおこなうことを推奨しています。

1. データのクレンジング
2. チャンクの分割
3. 記法の工夫
4. 検索しやすい情報の付与

それぞれのプロセスの説明と、注意点を順に説明します。

1. データクレンジング

データクレンジングとは、データセットから不正確、不完全、または不要なデータを取り除き、精度と品質を向上させるプロセスです。

特にPDFはクレンジングの処理が必要なことが多く、以下に上げるような処理が必要です。

• 意図しない文言の削除(白文字・ページ外の文字等)
• 文字間に含まれる文字の除去(スペースなど)
• ノイズとなるページ数などのデータの除去
• (OCR等で読み込んだ後)適正に読み込まれなかった文章の改修

2. チャンク分割

チャンク分割とは、大量のデータやテキストを扱いやすい小さな部分（チャンク）に分割するプロセスです。これにより、データ処理や分析の効率が高まります。

チャンク分割に関しては、”適切な意味の区切りで分割すること”が重要です。

よくない例をあげますと、文の途中で終わっていて意味が通じないチャンクになっている、チャンクサイズが不適切、などがあります。

3. 記法工夫

また、チャンクに関してはコンピュータが理解しやすい記法で回答精度が向上する傾向が見られるので、特に図や表などのデータはMarkdownなどで記載することを推奨しています。

4. 情報付加

文書検索に必要な情報を付加することで回答精度が向上する傾向があるため、イラストやポスターなどの文言情報が少ない場合に情報を付加したり、元文書からチャンクに変換した後、それぞれのチャンクの位置付けなどを記載すると精度が向上しやすいです。

データ改善の効果検証

データに適した適切な前処理を行うデータ改善はかなり効果があることが分かっています。

構造化データと非構造化データ（前処理をしていないデータ）での精度比較の検証結果を以下の記事で公開しておりますので、モデルの選択・データ改善の効果の参考にしてください。

ここまで、RAGに格納するデータの前処理の一連のプロセスについて紹介させていただきました。

これらの手法を用いることによって、より回答精度の高いRAGを構築できますが、実際には以下の課題や工数が発生することが多いです。

• 専門知識の必要性：

各データ前処理のステップには高度なデータサイエンスや機械学習の知識が要求されます。

• 時間と労力のコスト：

データのクレンジングや情報の付加は非常に手間がかかり、膨大な工数が必要です。
また、データを作成するだけでなく、作成したデータを用いた回答精度の検証や誤りがある回答の参照データの特定が必要なため、より多くの工数が必要になるケースが多いです。

このように、RAGの回答精度を向上させるために自社のリソース・外部ツールなしでデータの前処理を実行しようとすると多くの課題に直面することになります。

RAG回答精度向上支援サービス

RAG精度向上において、”データ改善”が重要であると説明してきましたが、この"データ改善"は非常にコストの掛かる作業です。現在の社内にある情報の多くは非構造化データですので、これをすべて構造化データに変更していくのは、非常に工数がかかることは想像できると思います。

そんなときに思い出してほしいのが、TASUKI Annotaion が提供している生成AIに関するデータサービス「生成AI用データ構造化代行サービス」と「RAGデータ作成ツール」です。

データ構造化代行

お客さまからRAGに取り込んで頂いたデータをお預かりし、回答精度が低いデータに関してデータ構造化処理を支援します。

また、単純なデータ構造化処理のみならず、キックオフでお客さまの課題を吸い上げ、アクション方針を決定・お客さまに合意頂いたうえで、プロジェクトとしてお客様とのゴールを設定させて頂きます。

その後、現在地の確認をし、現状分析〜回答精度の向上に関して伴走型として支援します。

RAGデータ作成ツール

ビジネスシーンで利用するデータの構造化は人手を介した作業が最も効果があるのは事実ですが、非常に工数がかかるという課題もあります。

RAGデータ作成ツールでは、TASUKIの構造化ナレッジを搭載した機能を利用でき、お客さま自身で工数を多くかけずにデータ構造化や精度評価を行うことができます。

〇テキスト化機能

ツール内に、ファイルを投入頂くだけで自動でテキスト化とチャンキングを行います。ファイル投入後にテキスト化を確認し、精度検証テストを実施し、現在地の把握、そこから改善に向けたアクションに移行できます。

〇精度評価機能

自動テキスト化後に精度検証テストがツール内で行えます。あらかじめ質問と模範解答をCSVでインポート、もしくは入力します。その後、ワンボタンで簡単に精度検証テストをおこなうことができます。

回答引用元のデータ、チャンクも紐づいており、画面上で確認できますので、簡単に確認や修正対応ができます。

〇図表構造化サポート機能

精度検証テストで回答が誤りであった図表やグラフなどのデータ構造化をサポートします。対象の図表を選択することで、図表に近似した構造サンプルが画面上で提案され、構造化例に沿った手動対応が可能となります。データに適した手法を提案しますので、試行錯誤が発生せず、工数をかけることなく対応ができます。

まとめ

RAGの回答精度を改善するためのデータ改善手法を紹介し、具体的な工程としてデータクレンジング、チャンク分割、記法の工夫、情報付加の重要性を説明しました。
また、それぞれのプロセスでの注意点や課題についても詳細に解説しました。

ソフトバンクでは、生成AIの活用やRAGの性能改善を支援する「TASUKI Annotation」サービスを提供しています。具体的には、データ構造化代行やRAGデータ作成ツールを通じて、効率的に高精度なRAGを構築するサポートを行っています。RAGの回答精度改善にお困りの企業の方がいましたら、ぜひソフトバンクにご相談ください。

それでは、ソフトバンク アドベントカレンダー 2024　20日目にバトンを渡します。

関連サービス

関連セミナー・イベント