Zamba2（ザンバツー）

Zamba2 — ハイブリッドSSM-Transformerの高効率小規模LLM

開発背景

Zyphraは2024年に設立されたAIスタートアップで、元Deepmindや元Metaの研究者が中心となって創業。同社の主要ミッションは「コンパクトで実用的な高性能LLM」の研究開発であり、Zamba2はその実証モデルとして2024年9月に公開された。

Zamba2の開発動機は、純粋なTransformerアーキテクチャの根本的な制約——二次計算コストのアテンション機構——を回避しながら、Transformerが持つ高い表現力を維持することにある。

アーキテクチャ設計

基本構成

Zamba2のブロック構成は以下のパターンを繰り返す：

• [Mamba-2ブロック] × 5
• [共有MHA + MLP] × 1
• 上記を繰り返し

Mamba-2ブロックがシーケンスの大部分を線形計算コストで処理し、6ブロックに1回だけ全文脈にアクセスできるアテンションブロックが挿入される設計。

共有アテンション（Shared Attention）

Zamba2の最大の特徴はアテンション重みの全レイヤー間共有。通常のTransformerでは各レイヤーが独立したQKV重みを持つが、Zamba2ではすべてのアテンションブロックが同一の重みセットを使用する。

メリット：

• パラメータ数の削減（7Bモデルで推定15〜20%削減）
• 推論時の重みロードオーバーヘッド低減
• 正則化効果による過学習抑制

Mamba-2ブロック

Zamba2が採用するMamba-2（Structured State Space Dual/SSD）は2024年発表の改良版SSM。Mamba-1と比較して：

• 行列乗算として表現できる構造化SSMアルゴリズム
• GPU上でのハードウェア効率的な実装が可能
• 並列学習と逐次推論の両立

性能比較

• MMLU（5-shot）: Llama 3.1 8B比較で同等〜+1.2pp
• HellaSwag: Mistral 7B比+0.8pp
• ARC-Challenge: 同規模モデル中トップクラス
• 推論スループット: 同規模Transformer比+50〜65%（A100で実測）
• KVキャッシュサイズ: Llama 3.1 8Bの約35%
• 長文コンテキスト（32K tokens）時の推論メモリ削減率: 約60%

このメモリ効率は、コンシューマーGPU（RTX 4090 24GB）での長文コンテキスト推論を実用的にする点で重要。

Zamba2 モデルラインナップ

• Zamba2-7B: メインモデル。Mistral-7B置き換え候補
• Zamba2-2.7B: エッジデバイス向け超小型モデル
• Zamba2-7B-Instruct: インストラクションチューニング版

他ハイブリッドモデルとの比較

• Jamba v2: SSM+Transformerだが個別アテンション重みを維持 → Zamba2より高パラメータ
• Bamba: IBMのMamba系ハイブリッド → 研究志向で商用展開は少ない
• Falcon Mamba 2: 純粋Mamba、アテンション非搭載 → Zamba2より長文in-context retrieval不得意

まとめ

Zamba2は共有アテンションとMamba-2の組み合わせで、7Bクラスの最高コストパフォーマンスハイブリッドLLMとして2025年時点で注目を集めている。エッジデバイス展開やコスト敏感な本番環境での採用が増加傾向にある。