Jamba v2（ジャンバブイツー）

Jamba v2 — MoE×SSM×Transformerの三重統合アーキテクチャ

Jamba系譜

AI21 Labs（イスラエル、2017年創業）は2024年3月にJamba 1.0を公開し、Mamba+Transformerハイブリッドの先駆者となった。その後Jamba 1.5（2024年8月）、Jamba v2（2025年7月）と世代を重ね、ハイブリッドアーキテクチャの商用利用における第一人者的地位を確立している。

アーキテクチャ詳細

三重統合の設計原理

Jamba v2は3種類のモジュールを組み合わせる：

層構成（概念図）:

• [Mamba-2 × 4] → [MoE-Transformer × 1] → [Mamba-2 × 4] → 繰り返し

各コンポーネントの役割：

• Mamba-2ブロック: シーケンスの局所依存関係を線形コストで処理
• MoE Transformerブロック: グローバルアテンション + Sparse Expert FFN
• MoE設定: 16専門家中2専門家をアクティブ化（Top-2 routing）

パラメータ構成

• 総パラメータ: 398B
• アクティブパラメータ: 52B（MoEのスパース性により）
• 推論時のコンピュート: 52Bモデル相当
• KVキャッシュ: Transformerブロックのみ対象（Mambaブロックは定長状態のみ）

256K コンテキスト対応

Jamba v2の256Kトークンコンテキストはハイブリッド構造によって実現される。

純粋なTransformerでの256Kコンテキストはアテンションの二次メモリコストにより現実的でないが、Jamba v2ではMambaブロックが大部分の処理を線形メモリで完了し、アテンションブロックは少ない頻度でのみ全文脈参照を行う。

メモリ使用量の実測値（256K tokens, A100 80GB）:

• 純粋Transformer（70B相当）: OOM（アウトオブメモリ）
• Jamba v2 398B: 約65GB（4 × A100 80GBで動作可能）

性能ベンチマーク（2025年7月時点）

• MMLU: GPT-4oと±1%以内
• GPQA Diamond: Claude 3.5 Sonnet比+2.1pp
• 長文QA（RULER 128K）: Llama 3.1 70B比+15pp
• スループット（A100 × 8）: Llama 3.1 70B比5.4倍

ライセンスと商用利用

Jamba v2はApache 2.0ライセンスで公開。重みはHugging Faceから無償ダウンロード可能。商用製品への組み込み、再配布、改変すべてが許可されており、オープンウェイトモデルとして最も自由度が高いクラスに属する。AI21 Labsは独自のJamba APIも提供しており、マネージドサービスとして利用することも可能。

まとめ

Jamba v2は398B/52Bアクティブという独自スペックと256Kコンテキスト、Apache 2.0ライセンスを組み合わせた、商用利用に適した高性能ハイブリッドLLMとして2025年に強い存在感を示している。