Mamba-2（SSDアーキテクチャ）（マンバツー）
Albert GuとTri Daoが2024年に発表したState Space Model。Structured State Space Dualityを核にMamba-1比2〜8倍のスループットを実現し、行列乗算ハードウェアとの親和性を高めた。
Mamba-2（SSD）とは
Mamba-2は2024年5月にAlbert Gu（CMU）とTri Dao（Princeton/Together AI）が発表した論文「Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality」で提案されたアーキテクチャだ。Mamba-1の課題であった「matmul非友好性」を根本的に解決し、最新GPUでの実行効率を大幅に向上させた。
Structured State Space Duality（SSD）
Mamba-2の核心はSSMと線形注意の数学的等価性（Duality）の発見だ。
従来のSSMは再帰的なシーケンス計算として定義されていたが、SSDフレームワークでは同じ計算をセミセパラブル行列の乗算として表現できることが示された。これにより：
- SSMの計算をmatmul-friendlyな形に変換可能
- cudaコアではなくTensorCoreを活用できる
- 並列化効率が大幅に向上
Mamba-1との性能比較
| 項目 | Mamba-1 | Mamba-2 |
|---|---|---|
| 学習スループット | 基準 | 2〜8倍向上 |
| H100 TensorCore活用 | 部分的 | フル活用 |
| 状態サイズ | 小 | より大（性能向上） |
| matmul親和性 | 低 | 高 |
| SSM-Attention統一 | なし | SSDで統一 |
学習速度は同サイズのTransformerと同等以上に達しており、大規模事前学習での実用性が大幅に改善された。
SSM-Attention統一理論の意義
Mamba-2がもたらした最も重要な概念的貢献はSSMとAttentionの統一的な理解だ。
SSDフレームワークにより：
- TransformerのAttentionはSSMの特殊ケースとして表現可能
- SSMはAttentionの制約付き形式として解釈できる
- 両アーキテクチャを組み合わせたハイブリッド設計の理論的基盤が整う
この洞察はBased（Stanford）やJamba（AI21 Labs）など後続のハイブリッドアーキテクチャに直接影響を与えた。
実装とエコシステム
Mamba-2はHugging Face Transformersに統合されており、mamba_ssmパッケージから利用できる。主な実装選択肢：
- mamba_ssm（公式）: CUDA最適化済みカーネル搭載
- transformers統合: 標準的なパイプラインで利用可能
- llama.cppポート: CPUでの量子化推論対応
現状と限界
Mamba-2は学習効率・推論速度で優れるが、一部の知識集約タスクではTransformerに劣るケースも報告されている。これはattentionの「全コンテキスト参照」能力をSSMが完全には再現できないためだ。この問題に対してMamba-2+AttentionのハイブリッドアーキテクチャMamba-2-Hybridが提案されており、実用的な解決策として注目されている。
まとめ
Mamba-2はSSMをmatmul-friendlyに再定式化することで実用的な学習効率を達成し、SSM研究を大規模モデルへ適用可能な段階へ押し上げた。SSDフレームワークが示したSSM-Attention統一理論は、次世代LLMアーキテクチャの設計指針として長く参照されることになるだろう。