Copilot Studio の画像入力・画像分析の機能を使ってみた②

情報の転記作業に時間がかかるということは、ユーザーがパソコンを使って情報を入力する時間を少なくすればいいのではないかと思いました。そこで安直な考えですが、その情報が記載されている媒体をカメラで撮影して写真にし、それを Copilot Studio で作成したエージェントが情報を読み取ってくれて、指定のフォーマットなどに書き起こせればいいのではないか？と考えました。イメージ図としては以下のようなものです。

上記のように情報が記載された写真を投げるだけで、必要な情報を Excel に保存してもらえるようなエージェントを作成できるかを、この後見ていきましょう。ちなみにエージェントには写真から自分自身が読み取ってほしい情報 (名前や日付、金額など) を読み取ってください！とあらかじめ指示を与えておきます。そうすることでエージェントは与えられた画像から必要な情報を抽出してくれるようになります。

例えば、以下の画像のような名刺の情報を Excel に記載する作業があったとします。(Copilot に作成してもらい、若干漢字の記載がおかしい箇所がありますが…それも含めて情報を抽出してもらえるか検証してみましょう。)

この会社名やメールアドレスなどの情報を Excel に打ち込む作業はとても面倒ですよね…

ということで人間がパソコンに打ち込む作業を一瞬で終わらせられるかどうかを Copilot Studio を使って試してみたいと思います。

①情報が記載された画像を撮影

②エージェントにその画像を入力してみる

③Excel に情報が取り込まれたので確認

本当にエージェントに情報が記載された画像を投げるだけで、 Excel に必要な情報を抽出して入力まで行ってくれました。欲を言うと TEL は省いてほしかったですね。

今度はフォーマットを変えてみて試してみたいと思います。レシートの情報はどうでしょうか？今度は SharePoint のリストに抽出した情報を格納してみたいと思います。

①領収書の画像をエージェントに入力してみる

(左：元の領収書、右：エージェントに撮影した領収書を投げている画面)

※店名や住所は隠しています。

②SharePoint のリストに情報が格納されているか確認してみる

領収書の場合でも必要な情報をエージェントが情報を抽出してくれて、指定の SharePoint のリストに保存してくれました。店名も隠してはいますが、しっかりと情報を読み取ってくれました。ちなみにレシートのフォーマットを変えてみても必要な情報は抽出してくれました。

残念ながら魔法ではありません

今回紹介したシナリオにおいて、Copilot Studio を用いて書き写すという作業を効率化できることはご理解していただけたのではないかと思います。画像をエージェントに投げてその情報を勝手に読み取って、必要な場所に保存してもらえるなんて魔法みたいですね！と思われるかもしれないですが、現実は違います。

たしかに画像をエージェントが解析してくれるのは本当ですが、エージェントに読み取ってもらう情報の指示出しをあらかじめプロンプトで行っていたり、読み取ったデータを保存する場所は Power Automate と呼ばれるノーコード・ローコードで日々の業務のフローを自動化するツールと Microsoft 365 アプリと連携して指定しています。こちらのツールはローコードで業務フローの自動化構成を作成できます。(以下は今回ご紹介した画像を読み取るフローの概要です)

ここで Copilot Studio の機能とは関係ないですが、Power Automate をさらに利用してみた例を少しお見せしたいと思います。先ほどの領収書の情報を格納するフローに少し工夫を加えてみます。例えば、指定したユーザーに SharePoint リストに格納した情報の通知をしてあげるみたいなことをしてみてもいいかなと思います。(領収書のデータが SharePoint リストに反映されたら特定のユーザーの Teams にその内容を通知するようなフローで、以下がその通知画面です。)

リストにも少し工夫を加えて、「承認待ち」とか表示して、ここの箇所を「承認済み」 にすると申請をした人に Teams で通知するような仕組みとかもできたら面白そうですね。

※この話の内容は検証していないただのアイデアです。

発想や検証内容次第では今回紹介した以外のことも自動化できると思われます。

このように今回検証で紹介した画像をエージェントに入力するだけで必要な動作を行ってくれる裏には、Copilot Studio のエージェントの設定や業務フロー自動化構成ツールである Power Automate の設定が必要です。ただしこのサービスを扱うことができれば今回紹介したユースケースだけではなく、申請書・報告書の書き写し作業や他の業務まで効率化できることも可能かもしれませんし、Power Apps というノーコード・ローコードで業務アプリを作成するツールで作成したアプリまで連携すれば申請や承認にフローまでも効率化は可能ではないかと思います。

まとめ

今回は Copilot Studio のエージェントを用いて「書き写す」作業の業務効率化ができるかどうかの検証を行ってみたところ、まだ入口の段階ではあると感じましたが、業務の効率化はできるのではないかと感じました。

今回紹介したように 、Copilot Studio のエージェントから Microsoft 365 アプリに連携するには他の Power Platform のサービスを織り交ぜながら作成することが必要ですが、ノーコード・ローコードで直観的に操作できる部分が多いのでぜひトライしてみてください！

今後も実際の業務で使えるようなアイデアなどを発信していきたいと考えています。