AI・機械学習
上級
Hawk (Recurrent LLM)（ホークリカレントエルエルエム）
Google DeepMindが2024年発表した純粋線形再帰型LLM。Griffinの純粋再帰バリアントで、Attentionレイヤーを持たずGated Linear Recurrenceのみで構成。省メモリ・高速推論を最優先した設計。
0 回閲覧
0 いいね
2026/6/4 更新
関連タグ
Hawk
Google DeepMind
純粋再帰型LLM
Gated Linear Recurrence
省メモリLLM
エッジAI
Hawk とは
HawkはGoogle DeepMindが2024年に発表した純粋線形再帰型LLMアーキテクチャ。Griffin論文と同時発表された「兄弟モデル」で、GriffinがGated Linear Recurrence（GLR）とLocal Attentionを組み合わせたハイブリッドであるのに対し、HawkはAttentionを完全に排除してGLRのみで構成された純粋再帰型モデル。
Griffin vs Hawk の設計哲学
| 設計選択 | Griffin | Hawk |
|---|---|---|
| アーキテクチャ | GLR + Local Attention（ハイブリッド） | GLR のみ（純粋再帰） |
| 性能 | Gemma 2B相当 | Mamba相当 |
| 推論メモリ | Griffinより低い | 最小 |
| 実装複雑度 | 中程度 | 最シンプル |
| 対象用途 | 汎用LLM | エッジ・組み込み |
HawkはLocalAttentionを持たないため、TransformerのAttentionが持つ「精密な近傍コンテキスト把握」を諦め、代わりに完全な線形複雑度と最小メモリフットプリントを実現する。
Gated Linear Recurrence（GLR）のみによる構成
Hawkは全レイヤーをGLRで構成。各GLRレイヤーは：
# 状態サイズ D: 固定（シーケンス長非依存）
h_t: R^D # 再帰状態（一定サイズ）
# ゲート計算（入力x_tから）
a_t = sigmoid(W_a * x_t) # 減衰ゲート
b_t = sigmoid(W_b * x_t) # 入力ゲート
c_t = sigmoid(W_c * x_t) # 出力ゲート
# 状態更新
h_t = a_t * h_{t-1} + b_t * x_t
y_t = c_t * h_t
この設計は：
- 推論時メモリ: O(1)（D次元の固定状態のみ）
- 推論時間: O(1)（各トークン独立更新）
- 訓練並列化: 並列スキャンで O(L log L)
性能比較
| モデル | パラメータ | MMLU | HellaSwag | 推論メモリ |
|---|---|---|---|---|
| Hawk | 3B | 46.8% | 74.3% | ~2GB |
| Griffin | 3B | 51.2% | 78.6% | ~3GB |
| Mamba | 3B | 46.9% | 71.7% | ~2GB |
| LLaMA-2 | 7B | 54.8% | 77.6% | ~14GB |
HawkはMambaと近い性能帯で、Transformerの数分の一のメモリで動作。
適用シナリオ
1. エッジデバイス・組み込み
- Raspberry Pi 5（8GB）上でHawk 3Bが動作可能
- Jetson Orin Nano（8GB LPDDR5）での推論に適合
- スマートフォンオンデバイス推論（8GBメモリ機種対象）
2. 低レイテンシリアルタイム処理
- 音声認識ストリーミング（各フレームO(1)処理）
- IoTセンサーデータの連続解析
- エッジカメラでの映像テキスト生成
3. 長文一括処理（バッチ推論）
- 100K+トークン文書の低コスト要約
- ログファイル・コードベース全体の解析
制限事項
- 対話品質: 多ターン会話で遠いコンテキストを正確に参照することが困難（状態が圧縮されるため）
- Few-shot: Transformerのような長い例示プロンプトへの対応が弱い
- エコシステム: モデル重みの一般公開が限定的（2024年時点）
まとめ
HawkはTransformerやGriffinより性能は低いが、その分シンプルかつ極めて省メモリな純粋再帰型LLMアーキテクチャ。エッジデバイス・IoT・リアルタイム処理という特定の用途では他のアーキテクチャより優位性を持つ。2025年以降のオンデバイスAIの拡大とともに注目が高まる可能性がある技術。