AI・機械学習
上級
Griffin (Recurrent LLM)（グリフィンリカレントエルエルエム）
Google DeepMindが2024年発表した線形再帰モデル。Gated Linear RecurrenceレイヤーとローカルAttentionを組み合わせたハイブリッドアーキテクチャで、Gemma 2Bと同水準の性能をより効率的に達成。
0 回閲覧
0 いいね
2026/6/4 更新
関連タグ
Griffin
Google DeepMind
線形再帰LLM
Gated Linear Recurrence
ハイブリッドアーキテクチャ
Hawk
Griffin とは
GriffinはGoogle DeepMindが2024年に発表した再帰型LLMアーキテクチャ。論文「Griffin: Mixing Gated Linear Recurrences with Local Attention for Efficient Language Models」で発表され、Transformerとは異なる再帰的アプローチでLLMの計算効率を改善する研究の流れに位置する。
2つのバリアント：Hawk と Griffin
DeepMindはGriffinとともに「Hawk」という純粋再帰型モデルも発表した。
| モデル | アーキテクチャ | 特徴 |
|---|---|---|
| Hawk | 純粋再帰型（Gated Linear Recurrence のみ） | シンプル・省メモリ |
| Griffin | ハイブリッド（GLR + Local Attention） | 性能と効率のバランス |
Gated Linear Recurrence（GLR）の仕組み
GLRはMambaのS6とは異なる設計哲学を持つ再帰メカニズム。
状態更新: h_t = a_t * h_{t-1} + b_t * x_t
出力計算: y_t = c_t * h_t
a_t（減衰ゲート）: 過去状態の保持量を制御b_t（入力ゲート）: 現在入力の取り込み量を制御c_t（出力ゲート）: 状態から出力への変換を制御
ローカル Sliding Window Attention との組み合わせ
GriffinはGLRレイヤー2層に対して1層のLocal Attentionを挿入するパターンを採用（2:1比）。
- GLR: 長距離依存関係を線形コストで処理
- Local Attention: 近傍1,024〜2,048トークンの精密な関係性を捉える
このハイブリッド設計により純粋再帰型より高いコンテキスト把握能力を実現しながら、フルAttentionより低コストを維持。
ベンチマーク結果（Griffin 14B）
| ベンチマーク | Griffin 14B | Gemma 7B | LLaMA-2 13B |
|---|---|---|---|
| MMLU | 62.3% | 64.3% | 54.8% |
| HellaSwag | 82.1% | 82.2% | 80.7% |
| ARC-Challenge | 54.7% | 53.2% | 49.4% |
| 推論メモリ | 60%削減 | 基準 | 基準 |
Gemma 7Bより大きなパラメータで一部ベンチマークを超え、推論メモリを大幅削減。
実装環境
- フレームワーク: JAX/FLAX（TPU最適化）、PyTorch版も非公式で存在
- 公開モデル: 研究用コードのみ公開（2024年時点では重みの一般公開なし）
- TPU効率: Google TensorFlowエコシステムでの最適化が施されており、A100 GPUでも競争力のある速度を達成
実用上の注意点
- In-context learning: 長いfew-shot exampleを保持するのが苦手（状態圧縮による情報損失）
- チャットBot用途: 対話履歴の細部参照が必要な場面ではGriffinより純粋Transformerが優位
- ストリーミング用途: リアルタイム処理ではHawk/Griffinが圧倒的に有利（O(1)メモリ）
まとめ
GriffinはGoogle DeepMindがTransformerの後継候補として研究する再帰型LLMアーキテクチャ。特に長文推論の省メモリ化と計算効率でMambaと並ぶ有力モデル。GLRとLocal Attentionのハイブリッド設計が2025年以降のLLMアーキテクチャ革新の重要な方向性の一つを示している。