Based（線形アテンションモデル）（ベースドリニアアテンションモデル）

Based（線形アテンションモデル）とは

BasedはArora et al.（Stanford HAI、2024）が発表した線形アテンションアーキテクチャ。論文「Simple Linear Attentions Architectures based on Taylor Series are Promising for Short and Long Context Language Modeling」の略称として「Based」と呼ばれる。

設計の核心：Taylor展開カーネル近似

線形アテンションの最大の弱点は「exact recall」能力の低さ——特定のキー・バリューペアを精確に想起する能力がSoftmax Attentionに比べて大きく劣ること。BasedはこれをTaylor展開による2次カーネル近似で解決する：

標準線形アテンション: φ(q)ᵀφ(k) ≈ exp(qᵀk/√d)  [1次近似、粗い]
Based: φ₂(q)ᵀφ₂(k) = 1 + qᵀk + (qᵀk)²/2  [Taylor 2次展開]

2次項の追加により近似精度が向上しexact recall能力が改善する：

def based_kernel(q, k):
    # Feature map: [1, q, q²/√2]
    q_feat = torch.cat([torch.ones(...), q, q**2 / math.sqrt(2)], dim=-1)
    k_feat = torch.cat([torch.ones(...), k, k**2 / math.sqrt(2)], dim=-1)
    return (q_feat.unsqueeze(-1) * k_feat.unsqueeze(-2))

ハイブリッドアーキテクチャ

2種類の注意機構を交互に配置：

層 1: Taylor Linear Attention（長距離依存）
層 2: Short Convolution（近距離依存、幅9トークン）
層 3: Taylor Linear Attention
    :

この組み合わせにより、Softmax Attentionの「全トークンへの精確なアクセス」に近い能力を線形計算量で近似する。

FlashLinearAttention カーネル

from fla.ops.based import parallel_based

# A100上でのスループット
# FlashAttention-2: 100%（基準）
# FlashLinearAttention (Based): ~90%（シーケンス長512）
# 長文脈（>16K）ではBasedが逆転有利

研究的意義

Basedの最大の貢献は「exact recall」問題を定量化し、線形アテンション改良方向を明確にしたこと。後続のDeltaNetや他の線形アテンション研究に影響を与えている。

HazyResearch/based（Stanford公式）でコード・チェックポイント・評価スクリプトが公開されており再現実験が容易。