DeltaNet（デルタルール線形注意）（デルタネット）
NeurIPS 2024採択のDelta Rule線形注意モデル。KV状態を完全上書き可能にしたことで、MQAR精度98.5%（Mambaの85.3%比）を達成。連想記憶タスクで線形SSMを大きく上回る。
DeltaNetとは
DeltaNetは2024年にNeurIPS（Neural Information Processing Systems）で採択された論文「DeltaNet: Parallelizable Linear Attention with Delta Rule」で提案された線形注意アーキテクチャだ。線形注意の最大の弱点である「特定key-valueペアの精度的なリコール」を、Delta Rule（デルタ則）の適用によって大幅に改善した。
Delta Ruleとは
Delta Rule（δ-rule / Widrow-Hoffルール）は機械学習の歴史的な学習則で、予測誤差に比例して重みを更新するアルゴリズムだ。
線形注意に適用すると：
W_t = W_{t-1} + β_t(v_t - W_{t-1}k_t)k_t^T
ここで W_{t-1}k_t は「過去の記憶から現在のキーで取り出した予測値」であり、v_t - W_{t-1}k_t がその誤差（delta）だ。このデルタに比例してKV状態を更新することで、誤った古い関連付けを正しい新しい情報で上書きできる。
従来の線形注意との違い
従来の線形注意（Linear Attention / Performer等）は積和形式でKV状態を累積するのみで、特定のキーに対応する古い値を「上書き」する機能がなかった。
| アーキテクチャ | KV状態更新方式 | MQAR精度 |
|---|---|---|
| Linear Attention | 積算累積のみ | ~50% |
| Mamba（SSM） | 選択的ゲート | ~85.3% |
| DeltaNet | Delta Rule上書き | 98.5% |
| Transformer | Full Attention | ~99%+ |
MQAR（Multi-Query Associative Recall）は「特定のキーに紐づいた値を正確に返す能力」を測るタスクで、連想記憶の精度指標として広く使われる。DeltaNetの98.5%はTransformerに迫る水準だ。
並列化可能な実装
Delta RuleはRNNの再帰的な更新則に見えるが、DeltaNetはこれをチャンク単位での並列計算に変換することで、GPU上での高効率な学習を実現した。
具体的には：
- シーケンスをチャンクに分割
- チャンク内の更新をmatmulに変換
- チャンク間のみ再帰的に処理
この設計により、学習時の効率はFlashAttentionに近い水準を達成している。
実装と派生研究
DeltaNetの公式実装はGitHubで公開されており、Triton kernelを使用したGPU最適化版が提供されている。主要な派生研究として：
- RWKV-7/Eagle2: Delta Rule WKVとしてRWKVシリーズに組み込み
- DeltaNet Hybrid: Softmax AttentionとDeltaNetを組み合わせたハイブリッド版
- Gated DeltaNet: ゲート機構追加でMamba超えを主張
RWKV-7がDelta Ruleを採用したことで、実用規模モデル（0.1B〜7B）での検証も進んでいる。
実用的な意義
DeltaNetが示した「線形時間でも高精度なリコール」は、以下の実用シナリオで重要だ：
- 長文ドキュメント検索: 特定人名・数値・事実を正確に取り出す
- コード補完: 変数名・関数名の一貫した参照
- マルチターン対話: 以前の発言内容の正確な想起
これらは全てMQAR的な「連想記憶」能力が求められる場面であり、DeltaNetの適用価値が高い。
まとめ
DeltaNetはDelta Ruleという古典的な学習則を線形注意に再導入することで、線形SSMのリコール精度限界を突破した画期的なアーキテクチャだ。NeurIPS 2024での採択とRWKV-7への影響を見ても、線形LLM研究の重要なマイルストーンとして位置づけられている。