Jamba (SSM-MoE)（ジャンバエスエスエムモエ）
AI21 Labsが2024年発表したMamba SSMとTransformer AttentionをMixture-of-Experts（MoE）と組み合わせたハイブリッドLLM。52B総パラメータ・12Bアクティブで256Kコンテキスト長を実現した商用オープン重み公開モデル。
Jamba とは
Jambaは2024年3月にAI21 Labsが発表した大規模言語モデル。「SSM（状態空間モデル）+ Transformer Attention + MoE（Mixture-of-Experts）」という3つの技術を組み合わせた初の商用グレードハイブリッドLLM。特に256Kトークンというコンテキスト長をシングルGPU（80GB A100）で処理できる点が注目された。
アーキテクチャの構成
Jambaのレイヤー構成（総52Bパラメータ / 12Bアクティブ）：
| レイヤータイプ | 割合 | 役割 |
|---|---|---|
| Mambaレイヤー | 約70% | 長距離依存を低コストで処理 |
| Attention（Multi-Head） | 約30% | 精密なコンテキスト参照 |
| MoEフィード前向き | 全レイヤーに適用 | パラメータ効率の最大化 |
MoEの構成
- 総エキスパート数: 16
- アクティブエキスパート: 2（推論時に動的選択）
- 総パラメータ: 52B
- アクティブパラメータ: 12B（推論時の実効パラメータ）
256K コンテキストの意義
Jambaがシングル80GB A100 GPUで256Kコンテキストを処理できる理由はSSMの定数メモリ特性：
| モデル | コンテキスト | 必要メモリ（概算） |
|---|---|---|
| LLaMA-3 70B | 8K | ~140GB（2x A100） |
| GPT-4 Turbo | 128K | ~数百GB（推定） |
| Jamba | 256K | ~80GB（1x A100） |
| Gemini 1.5 Pro | 1M | 非公開（TPU大規模） |
SSMレイヤーが大部分を占めることで、長文処理時のメモリ増大を抑制。
Jamba 1.5 への進化
2024年後半にJamba 1.5が発表：
| モデル | パラメータ | コンテキスト | 特徴 |
|---|---|---|---|
| Jamba 1.5 Mini | 12B（アクティブ） | 256K | 高速・軽量版 |
| Jamba 1.5 Large | 94B（総）/ 52B（アクティブ） | 256K | 最高性能版 |
Jamba 1.5 Largeは多くのベンチマークでLLaMA-3.1 70B・Mistral 8x22Bと競合。
ベンチマーク（Jamba 1.5 Large）
| ベンチマーク | Jamba 1.5L | LLaMA-3.1 70B | Mistral Large 2 |
|---|---|---|---|
| MMLU | 80.0% | 83.6% | 84.0% |
| ARC-Challenge | 73.2% | 68.0% | 68.7% |
| GSM8K | 87.0% | 95.1% | 93.0% |
| 256K推論速度 | 3倍高速 | 基準不可（OOM） | 基準不可（OOM） |
長文処理でTransformerベースのモデルがOOM（メモリ不足）になる場面でJambaは安定動作。
ライセンスと利用
- 初代Jamba: Jamba Open Model License（商用可・再配布可）
- Jamba 1.5: Apache 2.0（フル商用利用可）
- HuggingFace:
ai21labs/Jamba-v0.1（初代）、ai21labs/Jamba-1.5-Large - API: AI21 Studio経由で利用可能
まとめ
JambaはSSMとTransformerとMoEを組み合わせた実用的なハイブリッドLLMの代表格。256KコンテキストをシングルハイエンドGPUで処理できる点は、長文RAGシステム・コードベース解析・長期対話システムなど実用ユースケースで大きな価値を持つ。Apache 2.0ライセンスで商用利用可能な点もエンタープライズ採用を後押ししている。