Jamba（ジャンバ）

Jamba とは

Jamba は、イスラエルの AI 企業 AI21 Labs が 2024 年 3 月にリリースした革新的な言語モデルです。Transformer の Attention 機構と Mamba（状態空間モデル / SSM） を組み合わせたハイブリッドアーキテクチャに、さらに Mixture-of-Experts を統合した世界初の商用モデルです。

アーキテクチャの革新：Jamba ブロック

従来の Transformer は全レイヤーに Self-Attention を使用しますが、Jamba は Attention レイヤーと Mamba レイヤーを交互に配置します:

• Mamba レイヤー × 7 → Attention レイヤー × 1 のパターンを繰り返す
• Attention の割合は全体の約 1/8
• 残りは Mamba（SSM）が担い、長文処理のメモリ効率を高める

Mamba（SSM）の特徴

Mamba は RNN に似た状態空間モデルで、長文処理において Attention より低いメモリ消費を実現:

• Attention: KV キャッシュのメモリ O(n²)（シーケンス長の二乗に比例）
• SSM/Mamba: メモリ O(n)（シーケンス長に線形）

256K コンテキストでも KV キャッシュが膨張しにくい設計です。

スペック（Jamba 1.5 Large）

初代 Jamba: 総 52B・アクティブ 12B・256K コンテキスト・A100 80GB × 1 枚で動作。

256K コンテキストの活用

256K トークンは日本語で約 19 万文字（文庫本約 1.5 冊分）に相当します:

• 法律・契約文書の全文解析: 数百ページの契約書を一括処理
• 長編コードベースの理解: リポジトリ全体をコンテキストに入れた質問応答
• 学術論文の要約: 複数論文を同時に読み込んだ比較分析
• 会話履歴の長期保持: 数百ターンの会話を忘れずに継続

API 利用

import ai21
from ai21.models.chat import ChatMessage

client = ai21.AI21Client(api_key="your-api-key")
response = client.chat.completions.create(
    model="jamba-1.5-large",
    messages=[ChatMessage(
        role="user",
        content="256K コンテキストで長文を要約してください。"
    )]
)
print(response.choices[0].message.content)

Transformer-only モデルとの比較

まとめ

Jamba は Mamba（SSM）と Transformer Attention を MoE と組み合わせた次世代アーキテクチャの先駆けです。256K 超長文コンテキストと高スループット推論は、従来の Transformer-only モデルには困難だった用途を開拓しています。Jamba 1.5 シリーズではさらなる性能向上が図られており、ハイブリッドアーキテクチャ研究の重要なマイルストーンとなっています。