画像分析における言語モデルの性能比較：Gemini 1.5 Pro vs. Gemini 1.5 Flash vs. Gemini 2.0 Flash

1. 分析対象

今回の分析には、こちらの写真を使用しました。

弊社本社ビル（東京ポートシティ竹芝）から浜松町駅側に向かって撮影した夕暮れ時の都市風景を捉えたもの（iPhone14で撮影）

2. 入力したプロンプト

画像とともに以下の指示を与え、どのような回答を返すかを比較しました。皆様にもそれぞれの質問に対してどのように回答するかを思い浮かべながら読み進めていただくと、後でご自身の印象と比較できて面白いかと思います。

3. 分析に用いた言語モデル

今回の比較検証に用いた言語モデルは以下の3つです。

• Gemini 1.5 Pro : Google が開発した大規模言語モデルです。Gemini Advanced へのアクセス権を持つユーザーが使用できます。高度な推論、コーディング、クリエイティブ コラボレーション機能を提供し、テキスト、画像、音声などの複数のモダリティを処理できます。
• Gemini 1.5 Flash : Gemini 1.5 Pro の軽量バージョンです。Gemini 1.5 Pro よりも高速に動作するように設計されています。モデルの応答時間の速度が最も重要となる、より狭い範囲または高頻度のタスク向けに最適化されています。
• Gemini 2.0 Flash : Gemini 1.5 Flash の進化版であり、より高速で、より多機能なモデルです。特に、マルチモーダル出力やツール利用の機能が強化されています。ベンチマークでは Gemini 1.5 Pro と遜色ない性能が得られています。

各モデルの比較、詳細は以下をご参照ください。

• Gemini 1.5 Pro updates, 1.5 Flash debut and 2 new Gemma models
• Introducing Gemini 2.0: our new AI model for the agentic era

4. プロンプト入力と分析の実行

結果の詳細は後述しますが、それぞれの動作結果の画面です。入力しているプロンプトと画像は同じでも出力のトーンや形式はモデルによってバラバラです。

Gemini Advanced （Gemini 1.5 Pro ）

Gemini 2.0 Flash

Gemini 1.5 Flash

5. 実行結果

各言語モデルに与えたプロンプトと、それぞれのモデルによる画像の分析結果は以下の通りでした。

※記事の分量上、長い出力結果は要約しています

プロンプト1：基本的な描写

• 写真に写っているものをリストアップしてください。
• 写真の主な要素を3つ挙げてください。
• 写真の雰囲気を一言で表してください。

プロンプト2：詳細な描写

• 写真に写っている建物の種類を推測してください。
• 写真に写っている空の色を、具体的な色の名前で表現してください。
• 写真に写っている人や乗り物の数を教えてください。

プロンプト3：感情表現

• この写真を見た人がどのような気持ちになると思いますか？
• この写真からどのような物語が連想されますか？

プロンプト4：創造的な表現

• この写真に合う短い詩を作ってください。
• この写真に写っている場所で撮影された映画のタイトルを考えてください。

プロンプト5：特定のタスク

• この写真に写っている一番高い建物を特定してください。
• この写真に写っている特定のオブジェクト（例：窓）の数を数えてください。

プロンプト6：長文生成

• この写真について500字程度の文章を書いてください。
• この写真に写っている都市の歴史について調べて、800字程度のレポートを作成してください。

（文章の長さの関係で、ここでは各モデルの要約のみを記載します。）

6. それぞれの分析結果の比較

共通点

• 3つのモデル全てが、写真の基本的な要素（建物、空、夕焼け）を認識し、描写することができた。
• 建物の種類や空の色についても、概ね同様の分析結果を示した。
• 写真から受ける感情や連想される物語についても、ある程度の共通点が見られた。

相違点

• 詳細な描写: Gemini 1.5 Pro は、富士山やクレーン、鉄道の高架など、他のモデルが見落とした要素を認識していた。
• 感情表現: Gemini 1.5 Pro は、他のモデルよりも多様な感情を抽出し、より深い分析を行っていた。
• 創造的な表現: それぞれのモデルが個性的な詩や映画のタイトルを提案しており、創造性の面でも違いが見られた。Gemini 1.5 Flash と Gemini 2.0 Flash は比較的そのままを詩に表現しているのに対して、Gemini 1.5 Pro が 個人的には一番味わい深い詩を作っていると感じました。
• 特定のタスク: 一番高い建物の特定については、3つのモデル全てができているがGemini 1.5 Flash だけ異なるもの（タワー型の建物）を指していた。しかし、窓の数を数えるタスクは、いずれのモデルも正確に実行できなかった。
• 長文生成: Gemini 1.5 Pro は、写真に写っている都市の歴史について、より詳細で正確なレポートを作成した。

評価

今回の分析結果から、それぞれのモデルの特徴が浮かび上がってきました。想像以上にGemini 2.0 Flash の進化が感じられる結果でもありました。

• Gemini 1.5 Pro 
  • 全体的に見て、最もバランスの取れた分析能力を示しました。詳細な観察力、感情の読み取り、そして歴史的事実の正確な把握など、多岐にわたる能力を発揮しました。
  • 特に、富士山など他のモデルが見逃した要素を捉え、より深い分析結果を提示した点は素晴らしく、人が認識できるものはおおよそ同じように掴んでくれているという印象です。ただ東京タワーは難しかったようで部分から全体を推測するということは難しかったのかもしれません。
• Gemini 2.0 Flash 
  • 基本的な描写や感情表現など、主要なタスクを適切にこなせる能力を示しました。しかし、Gemini 1.5 Pro と比較すると、詳細な描写や歴史のレポートにおいて、情報量や正確性に欠ける部分がありました。
  • 当初、前世代とはいえ上位モデルであるGemini 1.5 Pro との比較自体がフェアではない前提で考えていたのですが、ここまで肉薄しているというのは正直なところ驚きでした。今後、Gemini Advanced へ Gemini 2.0の適用が楽しみになってくる結果です。
• Gemini 1.5 Flash 
  • このモデルは、写真の雰囲気や感情表現を的確に捉え、詩的な表現で分析結果を提示するなど、独自の感性を持つことが分かりました。しかし、建物の種類や空の色など、具体的な描写においては、他の2つのモデルに比べて情報量が少なく、分析の深さに欠ける部分が見られました。
  • また、都市の歴史に関するレポートは、具体的な情報が不足しており、分析が十分に行えていない印象を受けました。
  • 唯一こちらだけが東京タワーを推測していました。