Mamba-2（マンバツー）
2024年発表のMambaの改良版。State Space Duality（SSD）フレームワークでSSMとAttentionを理論的に統一し、GPU並列化効率を大幅向上。Mamba-2 2.7BがLLaMA-3 3Bと競合する性能を示した。
Mamba-2 とは
Mamba-2は2024年にICML（International Conference on Machine Learning）でAlbert Gu、Tri Daoらが発表したMamba SSMの後継モデル。原著論文「Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality」において、SSM（状態空間モデル）とTransformerのAttentionが数学的に双対関係（Duality）にあることを証明した画期的な研究。
State Space Duality（SSD）フレームワーク
SSDの核心は「SSMとAttentionは異なる計算経路を持つ同じ関数クラス」という洞察。
双対性の意味
| 視点 | 実装方法 | 計算効率 |
|---|---|---|
| SSM視点（線形再帰） | 左から右に状態更新 | O(L)・推論に最適 |
| Attention視点（行列積） | ブロック単位の並列計算 | GPU並列化に最適 |
訓練時はAttention視点でGPUを最大活用し、推論時はSSM視点で定数メモリで動作する。これによりMamba-1が持っていた「訓練効率の低さ」が解消された。
Mamba-1との主な違い
| 項目 | Mamba-1 | Mamba-2 |
|---|---|---|
| 状態次元(N) | 16 | 64〜256（最大16倍） |
| ヘッド構造 | 単一ヘッド | マルチヘッド |
| GPU最適化 | 独自カーネル | FlashAttention類似カーネル |
| 学習速度 | 基準 | 2〜3倍高速 |
| 理論的根拠 | 実験的 | SSD理論で裏付け |
ベンチマーク性能
Mamba-2 2.7Bは同規模Transformerモデルと比較して：
- MMLU: 46.8%（LLaMA-2 7B: 45.3%）
- ARC Challenge: 50.2%（Mistral 7B: 55.5%）
- TruthfulQA: 40.7%（GPT-2 XL: 29.0%）
- 長文処理（64K tokens）: Transformerより3.5倍高速
状態次元が拡大したことでMamba-1より長期依存関係の学習能力が向上。
Mamba-2搭載派生モデル
- Falcon Mamba2 7B: TIIがMamba-2で事前学習、アラビア語対応
- Zamba2-7B: Zyphra社のMamba-2+Attention融合型（ハイブリッド）
- CodeMamba: Mamba-2ベースのコード特化モデル（研究段階）
HuggingFace での利用
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained(
"state-spaces/mamba2-2.7b-hf",
torch_dtype="auto"
)
tokenizer = AutoTokenizer.from_pretrained("state-spaces/mamba2-2.7b-hf")
transformers>=4.45 でMamba-2（Mamba2ForCausalLM）をサポート。
実用的な位置づけ
Mamba-2は純粋SSMとしては最高水準だが、GPT-4oやClaude 3.5などの大規模Transformerと直接競合する段階には至っていない。実用価値は：
- エッジデバイス推論: 定数メモリ推論でRaspberry Pi・Arduino等に展開可能
- 超長文処理: 100K+トークンの文書処理でコスト大幅削減
- リアルタイムストリーミング: 音声・センサーデータの継続的処理
まとめ
Mamba-2はSSMとAttentionの双対性を理論的に確立し、Mamba-1の実装上の弱点を解消した改良版。SSDフレームワークの導入で学習効率が向上し、大規模化への道筋が開かれた。2025年以降のハイブリッドモデル（SSM+Transformer）の基盤技術として重要な位置を占めている。