Mamba (Gu & Dao 2023)（マンバ2023）
Albert Gu/Tri Dao 2023年12月発表 Selective State Space Model。Transformer の二乗計算量を線形化・無限長 context 対応
概要
Mamba は 2023年12月1日にカーネギーメロン大学（CMU）の Albert Gu（現 CMU 助教授）+ Princeton 大学・Together AI 創業者 Tri Dao が arXiv:2312.00752 で発表した Selective State Space Model (SSM) ベース言語モデル（論文「Mamba: Linear-Time Sequence Modeling with Selective State Spaces」）。Transformer の O(N²) attention 計算量を O(N) に線形化・無限長 context 対応・Transformer 同等性能で 「Post-Transformer 時代」の起点として 2024 年 AI 研究界に衝撃を与えた歴史的研究。
State Space Model (SSM) は信号処理・制御工学で 1960 年代から使われる古典的数学モデル（Rudolf Kalman の Kalman Filter 1960 年系統）、Albert Gu が 2021 年に深層学習に応用 (S4: Structured State Space) → 2022 年 S5・H3 → 2023 年 Mamba と進化させた。Mamba の革新は 「Selective」 = 入力依存で状態遷移行列を変化させる selective mechanism、これにより Transformer の attention に匹敵する表現力を線形計算量で実現。
性能は同サイズ Transformer (Pythia 等) と比較で言語モデリング (perplexity)・常識推論 (HellaSwag・ARC) で同等以上、特に 長文タスク (1M+ トークン) で Transformer を圧倒。さらに DNA 配列モデリング・音声生成・時系列予測等の Transformer が苦手な領域で SOTA 達成。
Mamba 発表後、(1) Mamba-2 (2024-05、Tri Dao が主導)・(2) Jamba (AI21 Labs 2024-03、Mamba+Transformer ハイブリッド)・(3) Falcon Mamba (TII 2024-08)・(4) Codestral Mamba (Mistral 2024-07)・(5) Zamba (Zyphra 2024) と SSM 系統 LLM が続々登場、Transformer 代替研究の最重要起点となった。
主な特徴・仕組み
- アーキテクチャ: Selective State Space Model (SSM)
- 計算量: O(N) 線形 (Transformer O(N²) の対極)
- 状態: hidden state h_t = A·h_{t-1} + B·x_t (連続時間 ODE 離散化)
- Selective 機構: A・B・C 行列を入力 x_t 依存で動的変化 (S4 では固定)
- Hardware-aware: Mamba block は GPU SRAM 最適化、Tri Dao FlashAttention 同思想
- メモリ: 一定 (sequence 長に依存しない)
- コンテキスト: 理論上無限長、実用 1M+ トークン処理可
- 性能: Pythia 同サイズで perplexity 同等・長文 (10K+) で Transformer 凌駕
- 特殊応用: DNA 配列・音声・時系列で SOTA
- 派生モデル: Mamba-130M/370M/790M/1.4B/2.8B 公開
- OS バージョン: Mamba (2023-12-01)・後継 Mamba-2 (2024-05)
スペック比較表
| 項目 | Mamba (2023) | Transformer | Mamba-2 (2024) | Falcon Mamba | Jamba |
|---|---|---|---|---|---|
| 計算量 | O(N) | O(N²) | O(N) | O(N) | O(N) (Mamba部) |
| メモリ | 一定 | O(N) | 一定 | 一定 | 一定 (Mamba部) |
| 長文性能 | 1M+ 可 | 32K-200K 標準 | 1M+ 可 | 32K+ | 256K |
| Selective | あり (初実装) | - | あり (改良) | あり | あり |
| ライセンス | Apache 2.0 | - | Apache 2.0 | Falcon License | Apache 2.0 |
| 採用例 | 研究 | 業界全般 | 研究 + Codestral | TII 研究 | AI21 商用 |
具体例・対応製品
- state-spaces/mamba-130M (HuggingFace 2023-12): 130M パラメータ最小版
- state-spaces/mamba-2.8B: 2.8B 最大版、Pythia 2.8B 同等性能
- mamba-ssm Python ライブラリ: 公式実装、pip install mamba-ssm
- MambaByte (2024): バイトレベル Mamba、tokenization 不要
- Vision Mamba (2024): 画像分類向け Mamba
選び方・注意点
- 研究・実験用途: Mamba は OSS 完全公開 + 論文 + コード豊富、SSM 研究入門最適
- 長文処理: 1M+ context 処理が必要なシナリオで Transformer より有利
- Transformer の代替ではない: 一部タスクで Transformer 劣る (in-context learning・複雑な reasoning)
- 後継 Mamba-2 推奨: 2024-05 発表 Mamba-2 は性能向上 + 実装簡素化、新規研究は Mamba-2
- ハイブリッド推奨: Pure Mamba より Mamba+Transformer ハイブリッド (Jamba) が実用上有利
- VRAM: Mamba-2.8B = 5.6GB FP16、Pythia 2.8B 同等
- 業界採用: Codestral Mamba (Mistral 2024-07) で初の商用採用、Falcon Mamba (TII 2024-08) で大規模化
関連用語との違い
| 用語 | 違い |
|---|---|
| Mamba (Gu & Dao 2023) | Selective SSM 初実装・O(N) 線形 |
| Mamba-2 (Tri Dao 2024) | Mamba 改良・性能 + 速度向上 |
| Falcon Mamba (TII 2024) | TII 7B 大規模 Mamba |
| xLSTM (Sepp Hochreiter 2024) | LSTM 復興・Transformer 代替別系統 |
| Liquid Foundation Models (2024) | Liquid Neural Network 系統 |
よくある質問（FAQ）
Q1: Transformer を完全代替する？ A: 一部タスク (長文・DNA・音声) で凌駕するが、in-context learning・複雑 reasoning・マルチモーダル等の Transformer 強み領域では劣る。「完全代替」より「補完・併用」が現実、Jamba (Mamba+Transformer ハイブリッド) が好例。
Q2: State Space Model の数学的背景は？ A: 制御工学の 60 年代古典理論、線形時不変システム x' = Ax + Bu (連続時間) を離散化して x_t = Ax_{t-1} + Bu_t に変換。Mamba は A・B・C 行列を入力依存で動的変化させる Selective 機構を導入し、表現力を Transformer 級に引き上げた。
Q3: なぜ O(N) で Transformer O(N²) と同等性能？ A: Transformer は全ペア attention で O(N²)、Mamba は再帰計算で O(N) だが、Selective 機構で「重要な情報を選択的に保持」できるため情報損失少ない。学術的に「Transformer ≈ Selective SSM」と等価変換可能性が示唆されている。
まとめ
- CMU Albert Gu + Princeton Tri Dao 2023年12月発表
- Selective State Space Model 初実装
- O(N) 線形計算量・無限長 context 対応
- Transformer 代替「Post-Transformer 時代」の起点
- Mamba-2/Jamba/Falcon Mamba 等 SSM 系統研究の祖