手書きのメモをスプレッドシートに自動で整理するアプリを開発してみた！

システム構成

今回作成するアプリケーションのシステム構成は以下のようになっています。

処理の仕組み

1. 画像をアプリに入力
2. 入力した画像に対し、Google Apps Scriptのコードを実行
3. Google Apps ScriptのコードがGeminiを呼び出し
4. Geminiが画像のデータについて回答
5. Geminiの回答に基づいてデータ整理を行い、データを記録

今回のフローでキーとなるのは5のデータ整理です。

この段階で、Geminiの回答からデータを自動で抽出し、それらのデータを複数のテーブルで整理するような仕組みを取り入れることにより、さらなる効率化が実現します。

また、AppSheetに自動入力されたデータは、Googleスプレッドシートにも書き込まれ格納されます。

アプリの使用手順

今回は、以下の商談メモの画像をそれぞれ入力し、自動で整理される様子を見ていきます。

今回は商談メモから「顧客名」「契約する端末名とその数量」「契約するプラン名とその数量」のデータを抽出し整理します。

今回AppSheetで作成したアプリケーションのに商談メモの画像（上の画像）を入力して、「AI読み取り」ボタンを押します。

すると、以下のように「顧客名」「契約する端末名とその数量」「契約するプラン名とその数量」のデータが抽出できました。

ここで、Googleスプレッドシートを確認すると、「商談メモそのものに関するテーブル」「端末の契約に関するテーブル」「プランの契約に関するテーブル」に分けてそれぞれデータが保管されています（ただし、各テーブルは「商談メモID」で結びつき関係性を保持しています）。

このとき、1つのセル内に、顧客名、端末名、数量のデータが格納されるのではなく、端末名は端末名、数量は数量といった形で、各データがそれぞれ1つのセルに格納されています。自動でここまでデータが整理された状態になることで、その後データを活用する際にも簡単にデータを取り出すことができます。

再利用しやすいようにデータを整理する利点

今回は、Geminiで手書きメモを読み込んで、データが再利用しやすいようにデータを自動で整理する仕組みを作りました。

「データを再利用しやすいように、整理すること」はさまざまなメリットがあります。具体例を使って説明します。

営業担当のよくある行動として、商談メモの内容をまとめた後、スマートフォンの総契約台数などを算出・見積書を作成するというタスクが発生します。その際、今回のように、使用するデータがすでにGoogleスプレッドシート上に整理されていると、Googleスプレッドシートの基本的な機能や関数（SUM関数など）を使用するだけで、簡単に総契約台数を算出することができます。

また、各種資料の作成なども、整理されたデータとGoogleスプレッドシートの機能や関数の使用によって自動化できます。

以下は、「商談メモID」を指定するだけで見積書を自動作成してくれるツールの様子です。「顧客名」や「端末名」、「数量」などの情報は「商談メモID」と紐づいているので、「商談メモID」を指定するだけで必要な情報を抽出して見積書を自動的に作成してくれる仕組みになっています。これによって、資料化までの労力と時間を大幅に削減できます。このように生成AIによって抽出したデータを簡単に活用できるのは、必要なデータがすでに整理された状態となっているからです。

まとめ

今回は、営業が手書きで書いた商談メモを、Geminiでデータ読み取り、今後のデータ活用につながるようなデータ整理も自動で行えるようにアプリを開発したので、その概要について説明しました。

今回のケースでいうと、Geminiのほかに、AppSheetやGoogleスプレッドシート、Google Apps ScriptといったGoogleのサービスと連携することで、データの入力と整理、さらに、その後のデータ活用が非常にスムーズかつ効率的に行えることが確認できました。このように、活用方法次第で、Geminiを用いた真の業務効率化を実現させることができるといえます。

最後に

ソフトバンクでは、本ブログの内容のように、Geminiを使って業務効率化を成し遂げる未来を目指して、技術検証やソリューション立案を進めています。

• Geminiを活用したいが方法がわからない...
• 生成AIでうまく業務効率化ができた試しがない...
• 単純にどのようにすれば業務効率化を行えるのかわからない...

といった悩みをお持ちの場合は、ぜひお気軽にご相談ください！

関連サービス