[レッツトライAppSheet]AI OCRで請求書の自動登録をやってみよう

2. 請求書データ化アプリのデータベース設計と作成

今回のゴールは以下の通りとします

• 画像化された請求書ファイルを読み取りテキスト化すること。
• テキスト化されたデータを項目ごとに要素分解すること。
• 請求書原本ファイル（PDF）も同時に保存できること。

制約事項は以下の通りとします

• 請求書ファイルの画像化は利用者が作成するものとします。
• 請求書のレイアウトは下記のものとします。

請求書のレイアウトをもとにデータベース設計を行います。今回は請求書に含まれるデータ化したい項目＋請求書画像＋請求書画像全てのテキストデータ＋その他情報という構造としました。

項目の準備ができたらGoogleスプレッドシートのメニューより拡張機能→AppSheet→アプリを作成　と進みます。

3. フォームの作成とデータの入力

ここでは

• 請求書データを編集するための画面の確認や調整を行います。 
• フォームに含める名前や連絡先などのフィールド属性の編集や画像登録時の処理設定を行います。

AppSheetがスプレッドシートの設定をもとに画面構成情報を自動生成してくれます。これで半分程度は完成です。「Customize your app」ボタンを押し自動生成された結果を望ましい形に修正していきます。

TYPEがデータ型、 INITIAL VALUEが初期登録時の処理になります。

各列の各項目を下表の通りに変更します。INITIAL VALUEは中央ペインを右にスクロールすると出現します。今回、請求書に含まれている内容を丸ごとテキスト化したかったのでINITIAL VALUEにOCRTEXT([画像])を設定しました。必須の項目では無いのですが、OCRの誤読等に起因する修正が必要となった場合手入力ではなくコピペで対応できるようにするため項目として持たせています。

各項目の型は以下のように変更してください

4. AI OCRのトレーニング

今回の肝となる部分です。

AI OCRにどの項目がどの属性にマッピングするかを学習させます。この作業を行うことで、以後読み取らせた請求書画像は設定されたフィールドへ値が自動セットされるようになります。

※　本ブログ公開日現在　AppSheet の OCR 機能は現在ベータ版です

AppSheetで AI OCR を使用するためには、前準備としてトレーニング（OCRで取得した画像テキストをどの項目にリンクさせるか？を教える）が必要があります。OCR側は文字は読み取ることができますが、どのフィールドへ値を設定したら良いかがわかりません。そこで、人間が実際にデータ登録作業を実施してAI OCRに学習用データを提供する必要があります。AI OCRはこの入力結果を見て画像のどの位置にある文字がどのフィールドにマップするべきかを学習します。

学習用データは、少なくとも4 つのサンプル画像とそこから抽出される値を含む完全なデータが必要です。

ここで一々画像や請求書原本を見ながら手入力はしたくないですよね？　そこで3章で用意した OCRTEXT関数の出力結果（画像テキストデータ）を使用すると、項目別では無いですが内容をデータ化できますので手入力の負担を軽減することができます。

それではトレーニング設定をはじめましょう。

4.1 AI OCRデータモデルの作成

AppSheet エディタの左メニューより [Intelligence] > [OCR MODELS (BETA)] と進み”+”を押して新しいモデルを作成します。

データベースより抽出項目が自動生成されます。先に注意点だけ申し上げると、不要な項目/誤検出の多い項目を除去すると言ったチューニングが必要となります。詳細はこの後の項番4.3にてご説明いたします。

saveボタンを押すと登録済みデータをもとに学習がはじまります。

4.2 学習データの投入

実際に画像を読み込ませて、各属性に値をセットしAI OCR側でどの属性に何をセットするかを学習させます。

4.3　OCR MODELのチューニング

実際にデータを読み込みさせると警告などが表示される場合があります。今回のケースでは日付の読み取りが期待通りになりませんでした。今回の請求書における日付の書式は　YYYY年MM月DD日　という形式なのですが期待通りの結果となりませんでした。

このように、文字の内容が期待通りにマッピングできない場合もあります。その場合は取得項目から削除して対象外とする、AppSheetが識別できるようにフォーマットを合わせるといったチューニングを行います。

警告内容を確認しながらチューニングした結果が下記の内容となります。読み取りが期待通りにいかない請求書日付、AI OCRが処理する対象外である請求書原本にない項目などを除外しました。

5. アプリのプレビューとテスト

作成したアプリの動作確認を行います。アプリから請求書データを読み込ませると自動的に内容と入力箇所を判定し自動入力してくれます。画像の解析から値セットまで1秒程度で完了します。請求日は除外したため値の入力はされていません。請求金額等3桁カンマを含む項目はそのまま文字にされてしまうため、本登録時にカンマの除去といった修正が必要となります。しかしながらゼロから入力することを考えると登録作業のスピードアップは期待できるのではと思いました。フォーマット自体を工夫することで読み取り精度は改善できそうです。

6. まとめ

今回はAppSheetのAI OCR（OCRモデル）機能について紹介しました。

今はまだベータ版ですので、一部で文字の検出誤り、年月日は読み取りができないなど期待通りとならかったり設定上の工夫が必要となる場合もありますが、標準機能でここまでできてしまいます。

毎月データの手入力でお困りの方はまずはできるところだけ自動入力とし、誤りが多いところはモデルから除外して手入力で始められてはいかがでしょうか？AppSheetのOCR機能を使えば、データ入力作業を効率化をするなどビジネスのDXを簡単に始めることができます。

最後まで読んでいただきありがとうございました。

◆AppSheetに関することは、ぜひソフトバンク窓口又は担当営業までご相談下さい。

Google Workspaceに関することも、ご相談お待ちしております！

関連サービス