Geminiマルチモーダルアーキテクチャ（ジェミニマルチモーダルアーキテクチャ）
Google DeepMindが開発したGeminiシリーズの核心技術。事前学習段階からテキスト・画像・音声・動画・コードを統一処理するネイティブマルチモーダル設計。
概要
Geminiのマルチモーダルアーキテクチャは、Google DeepMindが2023年12月に発表したGeminiシリーズに採用された基盤設計である。最大の特徴は「ネイティブマルチモーダル（Natively Multimodal）」という設計思想で、テキスト・画像・音声・動画・コードの5モダリティを事前学習段階から統一的に処理するよう設計されている点にある。
GPT-4 Visionが「GPT-4（テキストLLM）にCLIPエンコーダを後付けした」のと対照的なアプローチである。ネイティブ設計により、テキストと視覚情報の相互参照・クロスモーダル推論が質的に向上するとGoogle DeepMindは主張している。
Geminiシリーズの進化
| バージョン | 発表時期 | コンテキスト | 主要改良点 |
|---|---|---|---|
| Gemini 1.0 Pro | 2023年12月 | 32K tokens | ネイティブマルチモーダル初版 |
| Gemini 1.5 Pro | 2024年2月 | 1M tokens | MoE + SSMハイブリッドで超長コンテキスト実現 |
| Gemini 2.0 Flash | 2024年12月 | 1M tokens | 推論速度3倍向上・ライブAPI対応 |
| Gemini 2.5 Pro | 2025年3月 | 1M tokens（β: 2M） | Think before Answer機能・MathVista 78.6達成 |
ネイティブマルチモーダルの仕組み
視覚トークン化
Geminiは画像をSigLIP-ViTエンコーダで処理し、視覚特徴を言語トークンと同一の埋め込み空間にマッピングする：
- 画像分割: 入力画像を最大1792×1792解像度で受け付け、448×448のタイルに動的分割
- SigLIPエンコーダ: 各タイルをSigLIP-ViT-So/14（約400Mパラメータ）で特徴抽出
- ソフトトークン化: 連続的な視覚埋め込みをLLMのトークン埋め込みと同一次元空間に投影
- Transformerで統合処理: 視覚トークンとテキストトークンを同一Transformer blockで処理
音声・動画処理
- 音声: 16kHz・16bit PCM→メルスペクトログラムに変換後、視覚と同様のエンコーダで処理
- 動画: 1秒あたり1フレームサンプリング（デフォルト）で最大2時間（約7,200フレーム）を処理可能
1Mトークンコンテキストの実現方法
- MoE（Mixture-of-Experts）: 一部のエキスパートのみをアクティブにして計算コストを削減
- SSM（State Space Model）ハイブリッド: Mambaに着想を得た再帰的処理でAttentionのO(n^2)計算量を緩和
- Ring Attention: TPUポッド間で分散してAttentionを計算するGoogleの独自技術
- KVキャッシュ圧縮: 長距離コンテキストの古いKVを圧縮して保持
実際の処理能力（Gemini 2.5 Pro・1Mトークン時）
| メディア種別 | 処理可能量 | 具体例 |
|---|---|---|
| テキスト | 約75万語 | 「戦争と平和」×13冊分 |
| コード | 約75万行 | Linuxカーネル約1/4相当 |
| 画像 | 約3,000枚（1枚=330トークン換算） | 商品カタログ一括解析 |
| 動画 | 約2時間（1fps） | 映画1本まるごと |
| 音声 | 約19時間 | ポッドキャスト丸一日分 |
ベンチマーク性能（2025年3月・Gemini 2.5 Pro）
| ベンチマーク | Gemini 2.5 Pro | GPT-4o | Claude 3.7 Sonnet | InternVL2.5-78B |
|---|---|---|---|---|
| MathVista | 78.6 | 63.8 | 67.2 | 72.3 |
| MMMU | 81.7 | 69.1 | 70.4 | 71.0 |
| DocVQA | 97.2 | 92.8 | 89.4 | 95.4 |
| VideoMME | 83.4 | 71.9 | N/A | 72.1 |
APIの利用
Gemini APIはGoogle AI Studio（無料枠あり）またはGoogle Cloud Vertex AI経由で利用可能。 料金: $3.5/1Mトークン（入力）・$10.5/1Mトークン（出力）（Gemini 2.5 Pro、2025年3月時点）
Gemma 3（Geminiの蒸留版）はApache 2.0でオープンソース公開：1B・4B・12B・27Bの4サイズ。
よくある質問（FAQ）
Q1: Gemini 2.5 ProとGPT-4oのどちらが画像理解で優れていますか？ A: ベンチマーク上はGemini 2.5 Proが総合的に上回っています（MathVista +14.8pt、DocVQA +4.4pt）。特に動画理解・長文書読み取りではGeminiが顕著に優位です。
Q2: Gemini 1.5 FlashとGemini 2.0 Flashの違いは何ですか？ A: Gemini 2.0 Flashはv1.5比で推論速度が約3倍高速化（同価格帯）され、ライブ映像ストリーミングAPIに対応しました。MathVista等のベンチマークスコアも5〜10pt向上しています。
Q3: Geminiはオープンソースで使えますか？ A: Gemini自体はクローズドですが、蒸留版「Gemma 3」（1B・4B・12B・27B）がApache 2.0でオープンソース公開されています。Gemma 3の27Bは7B相当の商用VLMに匹敵する性能を示しています。
まとめ
- Geminiはテキスト・画像・音声・動画・コードを事前学習から統合した「ネイティブマルチモーダル」設計
- 1Mトークン（β: 2Mトークン）の超長コンテキストはMoE + SSMハイブリッドで実現
- Gemini 2.5 ProはMathVista 78.6・DocVQA 97.2でGPT-4oを大幅に上回る
- APIは$3.5/1Mトークン（2025年3月時点）・無料枠あり（Google AI Studio）
- オープンソース版としてGemma 3（1B〜27B）がApache 2.0で利用可能