Transformerの二次計算量ボトルネックを解消するために設計された代替アーキテクチャの総称。状態空間モデル（SSM）、線形Attention、RNN復権型など複数のアプローチが存在し、長系列処理での推論効率を大幅に改善する。
LLM効率的アーキテクチャとは、従来のTransformerが抱える系列長に対する二次計算量（O(n²)）の問題を根本的に解決するために開発された、新世代のニューラルネットワーク設計手法の総称である。2023年後半から2026年にかけて、Mamba、RWKV、RetNet、Hyenaなど複数の有力候補が登場し、特に長文処理や推論効率の面でTransformerを凌駕する性能を示している。
Transformerアーキテクチャは2017年の「Attention Is All You Need」論文以降、自然言語処理の標準となった。しかし、Self-Attentionメカニズムは入力系列長nに対してO(n²)の計算量とメモリを要求するため、100K〜1Mトークンの超長文処理では実用的な壁に直面する。GPT-4のコンテキスト長128Kトークンでさえ、推論時のKVキャッシュは数十GBに達する。
この限界を打破するため、以下の3つの主要アプローチが研究されている：
| アーキテクチャ | 計算量 | 推論メモリ | 学習並列化 | 代表モデル | パラメータ規模 |
|---|---|---|---|---|---|
| Transformer | O(n²) | O(n) KVキャッシュ | 完全並列 | GPT-4, Llama 3 | 〜405B |
| Mamba/SSM | O(n) | O(1) 状態ベクトル | 並列（スキャン） | Mamba-2, Jamba | 〜52B |
| RWKV | O(n) | O(1) 状態ベクトル | 並列（WKV演算） | RWKV-6, Eagle | 〜14B |
| RetNet | O(n) |
| O(1) 状態ベクトル |
| 3モード切替 |
| RetNet |
| 〜13B |
| Hyena | O(n log n) | O(n) | 並列（FFT） | Hyena, StripedHyena | 〜7B |
| Hybrid | O(n)〜O(n²) | 混合 | 完全並列 | Jamba, Zamba2 | 〜141B |
2025年以降、純粋な代替アーキテクチャよりも、TransformerとSSMを組み合わせたハイブリッドモデルが主流になりつつある。AI21のJamba（Mamba+Transformer+MoE）は141Bパラメータで256Kコンテキストをサポートし、Zamba2（Mamba2+共有Attention）は2.7Bパラメータでありながら7Bクラスの性能を達成した。
ハイブリッドの利点：
実際のベンチマークでは、効率的アーキテクチャは特に長系列での推論速度で顕著な差を見せる：
効率的アーキテクチャにはいくつかの実装上の課題が残る：
Q1: 効率的アーキテクチャはTransformerを完全に置き換えるのか？ A: 2026年時点では完全置換ではなくハイブリッド化が主流。Jamba、Zamba2のようにTransformerのAttention層とSSM層を混合するアプローチが最も実用的な成果を上げている。純粋なSSMモデルはin-context learning能力でTransformerに劣る場面がある。
Q2: 個人開発者がMambaやRWKVを使う方法は？
A: HuggingFace Transformersライブラリがmamba、rwkvの両方をサポートしている。pip install mamba-ssmでMambaのカスタムCUDAカーネルをインストールし、AutoModelForCausalLM.from_pretrained("state-spaces/mamba-2.8b")で利用可能。RWKVは専用ランタイムrwkv.cppがあり、llama.cpp相当の軽量推論が可能。
Q3: どのアーキテクチャが最も将来性があるか？ A: Mamba-2の選択的SSMメカニズムが最も広く採用されており、AI21 Jamba、NVIDIA Nemotron-H、Zamba2などの商用モデルに組み込まれている。RWKVはオープンソースコミュニティでの採用が進んでおり、14Bパラメータまでスケールしている。長期的にはTransformer+SSMハイブリッドが標準になる可能性が高い。
Q4: 効率的アーキテクチャはマルチモーダルにも対応できるか？ A: 対応可能。VisionMambaは画像認識、VideoMambaは動画理解に適用されている。Jamba 1.5はテキスト+画像のマルチモーダル入力をサポートしている。SSMの線形計算量は高解像度画像や長時間動画の処理で特に有利に働く。