Basedアーキテクチャ（線形LLM）（ベースドアーキテクチャ）
Stanford Hazy Researchが2024年に発表した線形注意+Short Convolutionのハイブリッドアーキテクチャ。Taylor Soft-Maxによる近似とRecall-Throughputトレードオフ分析が特徴。
Basedアーキテクチャとは
Basedは2024年にStanford大学のHazy Research（Christopher Réによるグループ）が発表した線形LLMアーキテクチャだ。論文「Simple Linear Attention Language Models Balance the Recall-Throughput Tradeoff」で詳細が公開されており、線形注意の最大の弱点である「特定情報のリコール精度」を低コストで改善するアプローチを提案した。
Taylor Soft-Max（線形化Softmax）
Basedの主要技術の一つがTaylor Soft-Maxだ。
通常のSoftmaxは指数関数を含むため線形時間で計算できないが、Taylor展開の1次近似を用いると：
exp(q·k) ≈ 1 + (q·k) + (q·k)²/2
のように近似でき、行列の次元を特徴マップとして分解することで線形時間の計算が可能になる。Basedはこれを2次項まで含む形で実装し、線形注意の精度を大幅に改善した。
Short Convolution（局所畳み込み）との組み合わせ
Basedは線形注意単体ではなく、Short Convolution（3〜4トークン幅の局所的畳み込み）と組み合わせるハイブリッド設計だ。
| コンポーネント | 担当する情報 | 特性 |
|---|---|---|
| 線形注意 | 長距離依存・グローバル文脈 | O(L)計算 |
| Short Conv | 局所パターン・隣接関係 | O(1)計算 |
自然言語には「隣接単語の関係（局所）」と「文書全体の文脈（グローバル）」の両方が混在するため、この組み合わせは理にかなっている。
Recall-Throughputトレードオフ分析
Basedの論文が特に評価されているのはRecall-Throughputトレードオフの体系的な分析だ。
長コンテキストLLMにおけるモデルの性質を：
- Recall（想起精度）: 特定のkeyに紐づいたvalueを正確に取り出す能力
- Throughput（処理速度）: 単位時間あたりのトークン処理数
の二軸で評価し、各アーキテクチャ（Transformer/Mamba/Based/RWKV等）がこのトレードオフ空間のどこに位置するかを示した。
Basedはこのトレードオフを最も良いバランスで解決するとされ、特に長コンテキスト高スループット推論（コード生成・文書分析）で優位を示す。
性能と実装
Basedのモデルは以下の条件でTransformerと比較評価された：
- 360M〜1.4Bパラメータ規模
- The Pile / SlimPajama / LAMBADA等の標準ベンチマーク
- FlashAttentionを使ったTransformerとの公平比較
Flops同等条件下でTransformerと同等以上の言語モデリング性能を達成しつつ、長コンテキストの推論速度は大幅に優れる。
実装はHazy Researchが公式リポジトリを公開しており、PyTorchベースで動作する。
Hazy Researchの位置づけ
Stanford Hazy Researchは線形LLM研究の主要グループで、S4・H3・Hyena・Flashなど多くの基盤的研究を発表してきた。Basedはその系譜を引き継ぐ研究であり、学術的な厳密さと実用的な実装の両立で知られる。
まとめ
Basedは線形注意の理論的弱点をTaylor近似と局所畳み込みの組み合わせで実用的に解決し、Recall-Throughputトレードオフの分析フレームワークで線形LLM研究の評価基準を提供した。実用規模での高スループット推論を求めるアプリケーションで有力な選択肢となっている。