Jamba 1.5（ジャンバ イッテンゴ）
AI21 Labsが2025年に公開したSSM-Transformer-MoEハイブリッドLLM。Jamba 1.5 Largeは総パラメータ398B・アクティブ94B・コンテキスト256Kトークンを実現。Mambaアーキテクチャと注意機構を交互に配置した独自ハイブリッド設計で長コンテキスト処理効率に優れる。
概要
Jamba 1.5（ジャンバ イッテンゴ）は、イスラエルのAI企業AI21 Labsが2025年に公開した革新的なLLMシリーズ。最大の特徴はMamba SSM（State Space Model）とTransformerアテンション機構を交互に積み重ねたハイブリッドアーキテクチャにMixture-of-Experts（MoE）を組み合わせた設計にある。
モデルサイズは2種類：
- Jamba 1.5 Mini: 総パラメータ52B、アクティブ12B、コンテキスト256K
- Jamba 1.5 Large: 総パラメータ398B、アクティブ94B、コンテキスト256K
256,000トークン（約200,000ワード相当）という極めて長いコンテキストを、Mamba SSMの線形計算複雑度（O(n)）を活用して効率的に処理できる。
主な特徴・仕組み
- Mamba-Transformer ハイブリッド積層: Mambaブロック（SSM）とAttentionブロック（Transformer）を7:1の比率で交互に積み重ねる。大部分の処理をMambaが担い、重要な長距離依存関係のみをAttentionが補完する設計
- SSM（State Space Model）の高効率: Mambaは「隠れ状態（Hidden State）」でシーケンス情報を圧縮するためコンテキスト長に比例して増大するKVキャッシュが不要。256Kコンテキストでも低いメモリ消費を実現
- MoE（Mixture-of-Experts）統合: 各レイヤーに複数エキスパートを配置し、処理するトークンの性質に応じて最適なエキスパートを動的選択。398B総パラメータながら94Bアクティブで動作
- エンタープライズ特化設計: 長文書サマリー・法律文書解析・コードベース全体のレビュー・大規模RAGシステムなど長コンテキストが求められる業務用途に特化
- Apache 2.0ライセンス: オープンウェイトで商用利用可能
スペック比較表
| モデル | 総パラメータ | アクティブ | コンテキスト | アーキテクチャ |
|---|---|---|---|---|
| Jamba 1.5 Large | 398B | 94B | 256K | SSM+Attn+MoE |
| Jamba 1.5 Mini | 52B | 12B | 256K | SSM+Attn+MoE |
| Mixtral 8x22B | 141B | 39B | 65,536 | Transformer+MoE |
| DeepSeek-V3 | 671B | 37B | 128,000 | Transformer+MoE |
| Claude 3.5 Sonnet | 非公開 | 非公開 | 200,000 | Transformer |
| Gemini 1.5 Pro | 非公開 | 非公開 | 1,000,000 | Transformer |
KVキャッシュメモリ比較（256Kコンテキスト処理時）
同じ256Kコンテキストを処理する場合のKVキャッシュメモリ使用量の推計（BF16）：
- Jamba 1.5 Large: 約9GB（Mambaが大部分を処理するため）
- 純Transformer 70B相当: 約128GB以上（Attention全層でKVキャッシュが線形増加）
この差がJambaの実務上の最大の優位点であり、RAGシステムや長文書処理でのTCO削減に直結する。
ユースケース別評価
向いているユースケース:
- 長文書RAG: 256Kウィンドウで書籍・法規・論文の全文をコンテキストに投入
- コードレビュー: リポジトリ全体をコンテキストに入れてのアーキテクチャ解析
- 法律・契約書解析: 数十ページの契約書を一括処理
- エンタープライズドキュメント処理: 社内文書の横断検索・サマリー
向いていないユースケース:
- 短文Q&Aの高スループット処理（MoEのルーティングオーバーヘッドが負担）
- 画像・音声処理（テキストのみのモデル）
よくある質問（FAQ）
Q1: JambaのMambaとはどういう仕組みですか？ A: MambaはState Space Model（SSM）の一種で、入力シーケンスを「隠れ状態ベクトル」に圧縮して情報を記憶する。Transformerのような自己注意機構と異なりコンテキスト全体をKVキャッシュに保持する必要がなく、シーケンス長に対してO(n)の線形計算で動作する。長コンテキスト処理のメモリ効率が大幅に向上する。
Q2: Jamba 1.5とGPT-4oのどちらが優れていますか？ A: 一般的なベンチマーク（MMLU・HumanEval等）ではGPT-4oが上位だが、256K超の長コンテキスト処理ではJamba 1.5 Largeがメモリ効率・コスト面で優位。エンタープライズの長文書処理では実用上Jamba 1.5が有利なシナリオが存在する。
Q3: Jamba 1.5をオンプレミスで動かすには何が必要ですか？ A: Large版（398B/94Bアクティブ、BF16）はH100 80GB×4枚程度が目安。量子化（4bit）ならA100 80GB×2枚でも動作可能。vLLMとHugging Face Transformersで対応済み。
まとめ
- Jamba 1.5はMamba SSM + Transformer + MoEの三重ハイブリッドで256Kコンテキストを省メモリ実現
- Large版は398B総パラメータ・94Bアクティブで長文書・RAGエンタープライズ用途に最適
- KVキャッシュ削減により256K処理時のメモリ消費が純Transformerの1/10以下になる
- Apache 2.0ライセンスでオープンウェイト提供、商用利用可能