Bamba（バンバ）

Bamba — IBM×プリンストン大学の研究志向ハイブリッドLLM

開発経緯

Bambaは2025年初頭にIBM ResearchとPrinceton Language and Intelligence (PLI) が共同で公開したハイブリッドLLMプロジェクト。単なるモデル公開にとどまらず、詳細なトレーニングレポートとスケーリング実験結果も同時公開しており、アカデミアへの貢献を重視した研究プロジェクトとして位置づけられる。

名称の「Bamba」はMamba + Baklavaに由来するとされており、アーキテクチャのハイブリッド性を多層構造の食品に例えたネーミング。

アーキテクチャ構成

ブロック比率とレイアウト

BambaはMamba-2ブロックとSelf-Attentionブロックを3:1の比率で配置：

• [Mamba-2] → [Mamba-2] → [Mamba-2] → [Self-Attention + MLP] → 繰り返し

全32層中：

• Mamba-2ブロック: 24層（75%）
• Self-Attentionブロック: 8層（25%）

Mamba-2 実装の詳細

BambaはMamba-2（Structured State Space Dual）を採用。特徴：

• SSD（State Space Dual）アルゴリズム: テンソル収縮として定式化され、行列乗算で効率実装可能
• ハードウェア効率: FlashAttentionと同様のtiled computation戦略を適用
• 状態次元D_state=64: Mamba-1（16）より大きく表現力を向上

トレーニングとデータ

• 使用データ: Dolmaコーパス v1.7（EleutherAI）を主要ソース
• 総トレーニングトークン数: 2.2兆トークン
• データ品質フィルタ: 言語識別・dedup・PII除去・C4フィルタ

Dolmaの使用は再現性の担保が主目的。同じデータで追加実験・アブレーション研究が可能な設計。

スケーリング実験

IBM-Princetonチームは1.4B・3B・9Bの3スケールでBambaを訓練し、以下を検証：

• ハイブリッドモデルのスケーリング則が純粋Transformerと一致するか
• Mamba:Attention比率の最適値
• 長文コンテキストでのパフォーマンス推移

結果として「3:1比率がコンピュート効率と性能のバランスで最適」という知見が得られた。

性能指標（9Bモデル）

• スループット vs Llama 3.1 8B: +2.2倍（A100, batch_size=8）
• KVキャッシュ: Llama 3.1比67%削減
• MMLU: Llama 3.1 8B比-0.8pp（誤差範囲内）
• HellaSwag: Llama 3.1 8Bと同等

オープンソース性

Apache 2.0ライセンスで公開。モデル重み・トレーニングコード・データレシピすべてが公開されており、学術機関での再現実験が容易。Hugging Face上でBamba-9B-base、Bamba-9B-instructが提供されている。