Gemma 2（ジェンマツー）
Googleが2024年6月に公開したオープンソース言語モデルファミリー。2B・9B・27Bの3サイズで提供され、Gemini 1.5 Proからの知識蒸留とSliding Window Attentionで高効率推論を実現。
Gemma 2 とは
Googleが2024年6月（27B）・7月（9B・2B）に公開したオープンソース言語モデルファミリー。Gemmaシリーズ第2世代として、Gemini 1.5 Proからの知識蒸留と独自のアーキテクチャ改良により、同規模の競合モデルを大幅に上回る性能を実現した。
モデルサイズラインナップ
| モデル | パラメータ | 用途 |
|---|---|---|
| Gemma 2 2B | 2.6B | エッジ・組み込み |
| Gemma 2 9B | 9B | バランス型 |
| Gemma 2 27B | 27B | 高性能用途 |
各サイズにベースモデルとInstructionチューニング版（-it）が存在する。
アーキテクチャの革新
Sliding Window Attention（SWA）
通常のAttentionはシーケンス長の2乗でメモリが増加するが、SWAは局所的なウィンドウ内のみのAttentionを計算し、遠い位置への参照はグローバルAttentionレイヤーで補完する。Gemma 2では交互レイヤー（local / global）で効率化。
Grouped Query Attention（GQA）
Multi-Head Attentionより少ないKVヘッド数でキャッシュを圧縮。推論速度を向上させながら精度低下を最小化。
Logit Soft Capping
出力Logitに対してtanh関数で上限（30.0）をかけてスケールする正規化手法。訓練の安定性を向上させ、極端な確率分布を防ぐ。
知識蒸留（Knowledge Distillation）
9B・2Bモデルの訓練にはGemini 1.5 Proの出力を教師データとして使用。小型モデルが大型モデルの「知識」を吸収する。
ベンチマーク性能
| ベンチマーク | Gemma 2 9B | Llama 3 70B | Mistral 7B |
|---|---|---|---|
| MMLU | 71.3% | 79.5% | 64.2% |
| HumanEval | 40.2% | 81.7% | 26.2% |
| MATH | 44.3% | 50.0% | 28.2% |
| GSM8K | 76.7% | 93.0% | 52.1% |
9BモデルがいくつかのベンチマークでLlama 3 70Bに迫る性能を示した（Chatbot Arenaでは9BがLlama 3 70Bを上回ると評価される場面も）。
Gemma 2のライセンスと公開
- ライセンス: Gemma Terms of Use（Gemma 2）/ Apache 2.0ではない点に注意
- 利用可能場所: Google AI Studio・Hugging Face・Vertex AI・Kaggle
- 量子化版: GGUF形式（llama.cpp対応）でローカル推論可能
※ Gemma 2のライセンスは厳密には「Gemma Terms of Use」で、完全なApache 2.0ではない。商用利用は可能だが条件あり。
Gemma 2 2B の特徴
最小モデルの2Bは特にエッジデバイス向けに最適化:
- Raspberry Pi 5でも動作可能な軽量設計
- Google AI Edge（旧MediaPipe）対応でモバイル推論
- 8K context windowを維持
実用的な活用例
ローカルAIアシスタント: GGUFでMacBook Air（M2 8GB）でも実用速度で動作（9B 4-bit量子化）。
ファインチューニング基盤: Apache互換ライセンスで商用SaaS開発のベースモデルに採用多数。
教育・研究: Google Colab無料プランでも9Bが動作可能（T4 GPU使用）。
まとめ
Gemma 2は「より小さく・より速く・より賢く」というGoogleのSLM戦略の結晶。SWA・GQA・Soft Cappingの組み合わせによる効率化と、Geminiからの知識蒸留で、9Bモデルが70B級の会話品質に迫るという驚異的な性能を実現した。