RecurrentGemma 2 (Griffin)（リカレントジェマツーグリフィン）

RecurrentGemma 2 (Griffin) — Google DeepMindのハイブリッドRNN-Transformer

Griffin アーキテクチャの誕生

GriffinアーキテクチャはGoogle DeepMind のAleksandar Botevらが2024年2月のarXiv論文「Griffin: Mixing Gated Linear Recurrences with Local Self-Attention for Efficient Language Models」で発表。Mambaとは独立して開発されたハイブリッドアーキテクチャであり、Google内でのシーケンスモデリング研究の成果として位置づけられる。

RecurrentGemmaはGriffinアーキテクチャをGemmaシリーズに適用した実装版。

Real Gated Linear Recurrence (RGLR)

Griffinの核心技術はRGLR（Real Gated Linear Recurrence）。Mamba系モデルのSSMが複素数の状態空間を使うのに対し、RGLRは実数値のみで構成され、実装の単純さとハードウェア最適化の容易さを重視している。

RGLRの動作原理：

• 時刻tの隠れ状態 h_t = Λ ⊙ h_{t-1} + (1 - |Λ|²)^(1/2) ⊙ (W_x x_t)
• Λ: 入力依存のゲート（入力x_tから動的に生成）
• ⊙: 要素積（Hadamard積）
• W_x: 入力投影行列

実数ゲートΛを使うことでTPUの行列演算に直接マッピングでき、JAX/XLA環境での最適化が特に効率的。

ローカルアテンションとの組み合わせ

GriffinはRGLRとローカルウィンドウアテンションを交互に配置：

層構成（9B版）:

• 約6:1の比率でRGLRが多い
• [RGLR] → [RGLR] → [Local-Attn, window=2048] → [RGLR] → ...

ローカルアテンションは直近2048トークン内でのみ計算するため：

• KVキャッシュサイズが固定（グローバルアテンション比で大幅削減）
• 近距離の正確な参照が必要な場面に特化

RGLRは長距離の情報を圧縮した隠れ状態として保持し：

• 文書全体の文脈を固定サイズで保存
• ストリーミング推論での長文処理に最適

Gemma 2との比較

• Gemma 2 9B: 純粋Transformer、メモリ基準値、速度基準値
• RecurrentGemma 2 9B: Griffin ハイブリッド、メモリ-40%、速度+75%

ベンチマーク性能はGemma 2 9Bと±2pp以内で、効率性と品質のトレードオフが特に優れている。

公開とライセンス

Hugging Faceにてgoogle/recurrentgemma-9bとして公開。Gemmaライセンス（商用利用は条件付き許可）が適用される。2Bと9Bの2サイズ、インストラクションチューニング版（IT）も利用可能。

TPU最適化済みのJAX実装がGoogle公式リポジトリで提供されており、Google Cloud TPU v4/v5上での高効率推論が容易に実現できる点が特徴。

まとめ

RecurrentGemma 2はGoogleのTPUエコシステムとの深い統合と、Griffinアーキテクチャのシンプルで効率的な設計が強み。Gemmaの品質を維持しながらメモリと速度を大幅改善した、実用的なハイブリッドモデルとして評価されている。