AI・機械学習
上級
Mamba-2アーキテクチャ（マンバツーアーキテクチャ）
MambaをState Space Dualityフレームワークで再定式化した後継版。SSMとアテンションの理論的等価性を証明し、GEMMベースの最適化で初代Mamba比最大8倍の学習スループットを実現する。
0 回閲覧
0 いいね
2026/6/8 更新
関連タグ
SSM
SSD
状態空間双対
アーキテクチャ
LLM効率化
Mamba-2 とは
Mamba-2はTri DaoとAlbert Guが2024年5月にarXivで発表した、初代Mambaの理論的・実装的改良版。核心はState Space Duality（SSD）フレームワーク：SSMとアテンションが同じ数学的構造（セミセパラブル行列積）の異なる表現であることを証明した。
State Space Duality（SSD）理論
SSDが示したこと：
- SSM = マスクアテンション: 1-SSMの系列変換はマスクアテンション行列Mと等価
- セミセパラブル行列: 両者を統一的に記述する行列クラス（下三角ブロック構造）
- 双対アルゴリズム: 系列長Lが短い時はアテンション実装が効率的、Lが長い時はSSM実装が効率的。両形式を状況に応じて使い分け可能
初代Mambaからの改善点
| 項目 | Mamba-1 | Mamba-2 |
|---|---|---|
| 状態次元 | 16〜64 | 64〜256（大幅拡大） |
| 実装 | カスタムCUDAカーネル | GEMM + cuBLAS |
| 学習速度 | 基準 | 最大8倍高速 |
| マルチヘッド | 非対応 | 対応（アテンション類似） |
| 理論的根拠 | ヒューリスティック | SSD双対性 |
状態次元の拡大により長距離依存性の表現能力が向上し、GEMMベース実装でTensorコアを最大活用できるようになった。
チャンク並列スキャン
Mamba-2は系列をチャンク分割してスキャンを並列化する。各チャンク内はアテンション形式（高並列性）、チャンク間はSSM再帰形式（線形スケール）で処理し、両者の長所を組み合わせる。これにより単純なシーケンシャルスキャンより大幅に並列効率が向上する。
採用商用モデル（2024-2025）
| モデル | 開発元 | 規模 |
|---|---|---|
| FalconMamba 7B | TII UAE | 7B 純粋SSM |
| Codestral Mamba | Mistral AI | コード特化 |
| NVIDIA Mamba-2-Hybrid | NVIDIA | Transformer+Mamba2ハイブリッド |
| Zamba2-7B | Zyphra | Mamba2+Transformer混合 |
2025年の評価
Mamba-2はSSMの主力実装として定着したが、純粋SSMはin-context learning（多ショット学習）でTransformerに劣るという研究結果も増えており、長文脈処理はハイブリッド設計（Attention + SSM交互配置）が主流になりつつある。NVIDIA、MistralなどはMamba2ブロックとアテンションブロックを組み合わせた設計を採用している。