Copilot Studio の画像入力・画像分析の機能を使ってみた

まずは、Copilot Studio の画像入力・画像分析の機能に触れてみようと思います。この機能を使用するためには作成するエージェントの言語を英語に設定して、画像入力の機能をオンにしなくてはなりません。以下はエージェントの言語を日本語に設定した場合で、画像入力に関する設定が出現しません。

そもそも画像入力の機能をオンにするためには生成オーケストレーションを選択しなければなりません。生成オーケストレーションは現在(この検証時点：2025年4月)は英語 (en-US) のエージェントのみサポートされているのでエージェントの言語の設定を英語 (en-US)にすると以下のように画像入力の欄が出現するのでこの機能をオンにすればOKです。

それでは早速この機能を使ってみましょう。エージェントとのチャット欄のクリップマークから画像を入力してテキストも入力してみます。私は目玉焼きの画像を入力して、「①これは何か？②これの作り方を教えて」の2点を質問してみました。※ちなみに以下の目玉焼きの画像は Microsoft Copilot の Designer という機能を使用して作成しました。

すると以下のように日本語で料理名と作り方を教えてくれました。

ここまでの使い方だと、カスタマイズしていないエージェント＝Microsoft 365 用の Copilot と似たようなものであると思うので、エージェントをカスタマイズしていきたいと思います。

ナレッジの作成

まずはエージェントが参照するためのナレッジを作成したいと思います。今回はスマートフォンの画面が破損している画像をエージェントに送り、エージェントがその画像を認識して対処方法をユーザーに教えるというシナリオで検証してみようと思うので、ナレッジにはスマートフォンが破損した場合の対処方法について記載されたファイルを保存しようと思います。今回のナレッジは Sharepoint を使用します。SharePoint のサイトに以下のような故障対応マニュアル (ファイル形式：PDF) を格納しておきます。SharePoint をナレッジとしてエージェントがその情報を参照する場合ファイルのサイズ制限や形式などについて制限があるのでご注意ください。

Copilot Studio のナレッジにはファイルが格納されている Sharepoint のサイトのフォルダを指定します。

続いて、エージェントが指定したナレッジ以外の参照を行わないような設定をします。以下の2つの設定を [無効] に設定します。

エージェントが一般的なナレッジを使用できるようにします

エージェントの Web Search を有効にする

これでナレッジの設定は完了です。

画像分析させてみた

それではスマートフォンの画面が破損している画像をエージェントに入力してみましょう※こちらの画像も Copilot に作成してもらいました。

以下のようにナレッジから情報を参照して対処方法を教えてくれました。欲を言えばエージェントが必要な箇所のみ選定して答えてくれるという挙動を期待していましたが、この検証ではエージェントが返してくれた内容は先ほどナレッジに追加した PDF のすべての情報を要約したものでした。

先ほどのエージェントに期待していた挙動とは、以下の画像の赤枠の部分だけをエージェントが返してくれたらいいなと思っていました。

※上の画像ではナレッジの情報の 1,2,3,7,8 の章しかエージェントから返ってきていないように見えますが、実際はエージェントから 4,5,6 章の部分の内容も返ってきており、4,5 章がスマホの画面が破損している場合の対処法です。

また、今回個人的にすこしびっくりしたことはスマートフォンのことをテキストでは入力せずに対処すべき方法を教えてほしいことを示唆した以下のような質問を入力しても、エージェントは対処方法をナレッジから参照して教えてくれました。

ただこれはどんな画像を入力してもスマートフォン破損の対象方法が記載されたナレッジを参照してしまうのではないかと思ったので、車が破損した画像を入力してエージェントがどのような挙動を起こすのか見てみました。結果はナレッジに該当する情報がないというような答えがエージェントから返ってきました。

この画像分析の機能を利用すれば、アイデア・使い方次第ではこの機能は使い道がありそうだと感じました。例えば今回のような機材の破損した場合の対処法を記載したナレッジをエージェントに何種類か設定しておけば使い道がありそうですし、機材のセットアップの方法に困ったときやパソコンでいろいろ設定していた時にエラーが出たときの対処方法をエージェントのナレッジに設定しておけばその機材の写真やパソコンでのエラー画面を撮影してエージェントに投げるだけで対処ができてしまうというようなこともできるかもしれないと思いました。

まとめ

今回は Copilot Studio の画像入力・画像分析の機能を使ってみた結果を紹介しました。2025年4月時点でこの機能を使用するためにはエージェントの言語の設定を「英語 (en-US)」にしなければいけないことに注意してください。

この機能の使い方次第で業務改善等に活かせるのではないかと思います。例えば今回紹介したような製品の故障やエラーのサポートに関するエージェントの作成や、グラフを元に分析するエージェントの作成などさまざまな使い道があると思います。ユーザーの業務のシナリオを想定したうえでどう扱っていくか考えることが一番大切なのではないかと私は考えています。

機会があれば、またこの機能に関して検証した結果をブログで紹介できればと思います。「Copilot Studio と画像入力・画像分析を組み合わせて何ができそうなのか知りたい」、「実際に操作している画面を見てみたい！」という方々に、この記事が参考になれば幸いです。