Gemini 1.5 Pro 動画理解（ジェミニイチテンゴプロドウガリカイ）

Gemini 1.5 Pro 動画理解とは

Gemini 1.5 ProはGoogleが2024年2月に発表したマルチモーダルLLM。最大100万トークン（研究向けは200万トークン）のコンテキストウィンドウを持ち、動画・音声・画像・テキストを一括して処理できる。

動画処理の仕組み

Gemini 1.5 Proはビデオを1秒あたり1フレーム、音声を1秒あたり1トークンの粒度でサンプリングし、コンテキストウィンドウに収める。1時間超の動画でも単一のプロンプトで処理可能で、特定の物体・人物・字幕の出現タイムスタンプを秒単位で返すことができる。

ベンチマーク性能

• Video-MME（字幕なし）: 75.0点 → 2024年時点でオープンモデルを上回る
• EgoSchema: 72.2点
• 「Needle-in-a-Haystack」動画版: 1時間動画内の特定フレーム検索成功率 ~95%

主な活用場面

長尺動画の要約・検索

YouTube動画・会議録画・教育コンテンツを入力し、「何分何秒に何が起きたか」「このトピックを解説している箇所はどこか」を即座に回答する。

マルチモーダル統合解析

動画内の音声・映像・字幕・スライドテキストを同時解析し、構造化されたレポートを生成。企業の決算説明動画から財務情報を抽出するユースケースが代表例。

コード・ドキュメント理解

技術チュートリアル動画を解析し、表示されたコードをテキスト化しながら手順を抽出する。

アクセス方法

• Google AI Studio（無料枠あり）
• Google Cloud Vertex AI
• Gemini APIキー（generativelanguage.googleapis.com）

注意点

動画の直接URL入力には対応していないため、ファイルアップロードまたはGoogle Cloud Storageバケット経由での入力が必要。大容量動画はFile API経由でアップロード後、URI参照で処理する。後継のGemini 2.0 Flashでは動画処理速度と入力フォーマットの柔軟性がさらに改善されている。