DeltaNet（線形アテンション）（デルタネットリニアアテンション）
デルタルール（差分更新）に基づく線形アテンション機構。ヘッブ学習との理論的関連を持ち、GLAやBasedと比較して競合する記憶能力をシンプルな数式で実現する。
DeltaNet とは
DeltaNetはSchlag et al.（ICML 2021）が提案した線形アテンション機構で、デルタルール（Δ-rule / Delta Rule）に基づく状態更新を行う。2024年にYang et al.がチャンク並列訓練アルゴリズムを開発したことで実用規模のLLM訓練が可能になり、GLA・Mamba・Basedと同じSub-Quadratic LLM研究の文脈で再注目された。
デルタルールの数学的定式化
DeltaNetの状態更新式：
S_t = S_{t-1} + β_t · (v_t - S_{t-1}k_t) · kᵀ_t
- S_t: 現在の状態行列（連想記憶）
- β_t: 学習率（データ依存のスカラー）
- (v_t - S_{t-1}k_t): 予測誤差（現在の記憶との差分）
「現在の状態でキーkを検索した結果と記憶したい値vの誤差を補正する」ヘッブ学習的な連想記憶の形式。
標準線形アテンションとの違い
標準線形アテンション: S_t = S_{t-1} + v_t · kᵀ_t
→ 無条件に新情報を追加（上書き不可）
DeltaNet: S_t = S_{t-1} + β_t(v_t - S_{t-1}k_t) · kᵀ_t
→ 既存の記憶との差分のみ更新（同一キーへの上書きが可能）
この差分更新により、DeltaNetは連想記憶的な書き換え能力を持ち、MQARなどのRecall-Intensiveタスクで優位性を示す。
チャンク並列訓練アルゴリズム（2024年）
2021年のオリジナルDeltaNetは逐次的なRNN計算しか存在せず訓練が非実用的だったが、2024年Yang et al.のチャンク並列アルゴリズム開発で状況が一変。行列式の三角構造を利用したTritonカーネルで効率的に実装できる。
性能評価（2024年実験）
| モデル | MQAR（記憶精度） | Pile PPL |
|---|---|---|
| DeltaNet-370M | 82.4% | 12.3 |
| GLA-370M | 71.2% | 12.1 |
| Mamba-370M | 68.9% | 12.0 |
| Transformer-370M | 99.8% | 12.0 |
MQAR（Multi-Query Associative Recall）でのDeltaNetの優位性が明確。言語モデリング（PPL）では各アーキテクチャが拮抗。
実装
from fla.models import DeltaNetModel, DeltaNetConfig
config = DeltaNetConfig(
hidden_size=1024,
num_hidden_layers=12,
expand_v=1,
use_beta=True, # データ依存のβ（推奨）
)
model = DeltaNetModel(config)
DeltaNet2 / Titans との関連
2025年にGoogleがDeltaNetのデルタルールをTransformerに統合した「Titans」アーキテクチャを発表（Neural Memory Networkとして位置づけ）。DeltaNetの設計思想が大手企業の研究にも影響を与えていることが確認された。
Sub-Quadratic Architecturesの全体像での位置づけ
- DeltaNet: 精確な連想記憶（書き換え型）
- GLA: データ依存ゲートによる選択的記憶
- Based: Taylor展開による近似精度向上
- HGRN2: 階層的状態拡大による表現力
fla-org/flash-linear-attention（OpenNLPLab）がSub-Quadratic研究の統合的なリポジトリとなっている。