Mamba (SSM)（マンバエスエスエム）
選択的状態空間モデル（Selective SSM）を採用したLLMアーキテクチャ。Transformerの二次計算複雑度を回避し、シーケンス長に対して線形スケーリングを実現するAlbert Gu・Tri Dao開発の2023年モデル。
Mamba (SSM) とは
Mamba（マンバ）は、2023年にAlbert Gu（カーネギーメロン大）とTri Dao（スタンフォード大）が発表した「選択的状態空間モデル（Selective State Space Model, S6）」に基づくLLMアーキテクチャ。Transformerが抱える二次計算複雑度（O(L²)）の課題を解決し、長文シーケンス処理を線形複雑度（O(L)）で実行できる点が画期的。
状態空間モデル（SSM）の基礎
SSMは信号処理・制御理論に起源を持つ数学的フレームワーク。入力シーケンスを内部状態（hidden state）に変換し、その状態から出力を生成する。
Mamba以前のSSM系列
| モデル | 年 | 特徴 | 制限 |
|---|---|---|---|
| HiPPO | 2020 | 連続時間SSM基礎 | 非選択的 |
| S4 | 2021 | 効率的連続SSM | 入力非依存 |
| H3 | 2022 | SSM+Attention融合 | 複雑な実装 |
| Mamba | 2023 | 選択的SSM | 学習安定化困難 |
S6（選択的SSM）の核心
Mambaの革新は「選択性（Selectivity）」。従来のSSMは固定パラメータ行列を持つが、S6はゲート機構で入力に応じてパラメータ（∆, B, C）を動的に変化させる。これにより：
- 関連情報を選択的に保持: 重要なコンテキストを長距離でも保存
- 不要情報を忘却: ノイズや無関係な情報をリセット
- トークン依存の状態更新: Attentionに近い表現力を再帰的に実現
計算複雑度の比較
| アーキテクチャ | 訓練時 | 推論時メモリ | シーケンス長依存 |
|---|---|---|---|
| Transformer | O(L^2) | O(L) | 強依存 |
| Mamba (SSM) | O(L) | O(1) | 非依存 |
| RWKV | O(L) | O(1) | 非依存 |
| Griffin | O(L log L) | O(1) | 低依存 |
Mamba-3B のベンチマーク結果
パラメータ数3BのMambaは同規模Transformerと競合する性能を示した：
- LAMBADA: Mamba-3B 74.2% vs GPT-NeoX-6.7B 72.0%
- HellaSwag: Mamba-3B 71.7% vs LLaMA-7B 73.0%
- PIQA: Mamba-3B 80.5% vs OPT-6.7B 79.6%
特に長文（4K〜64Kトークン）処理でTransformerより2〜4倍高速。
Mamba-2 への進化
2024年発表のMamba-2は理論的裏付けを強化し、SSMとAttentionを「State Space Duality（SSD）」フレームワークで統一。GPU並列化効率が改善され、H100上での学習速度が最大3倍向上した。
実装とモデル
- Mamba公式実装: GitHub
state-spaces/mamba（Apache 2.0ライセンス） - Jamba: AI21 LabsがMamba+Transformerを融合したハイブリッドモデル（52B MoE）
- Falcon Mamba 7B: Technology Innovation InstituteのMamba純粋モデル
- HuggingFace対応:
transformers>=4.40でMamba系モデルをサポート
限界と課題
- In-context learning: TransformerのFew-shot性能に追いついていない（状態圧縮で情報損失）
- 学習安定性: S6の選択ゲートが大規模化で不安定になるケースあり
- エコシステム: Transformerに比べ対応ライブラリ・ツールが少ない
まとめ
Mamba SSMはTransformerの計算効率ボトルネックを根本から解決するアーキテクチャ。長文処理・組み込みデバイス・リアルタイム推論など制約のある環境で特に価値を発揮する。2025年時点ではMamba-2やJambaなどの発展形も登場し、SSMはLLM設計の有力な代替として定着しつつある。