Falcon Mamba 2（ファルコンマンバツー）

Falcon Mamba 2 — 純粋Mambaアーキテクチャの7B高性能LLM

Technology Innovation Institute (TII)

TII（Technology Innovation Institute）は2020年設立のアラブ首長国連邦・アブダビの政府系研究機関。Falcon 7B・40B・180Bなどのオープンソースシリーズで知られ、Transformerアーキテクチャでの高性能モデル開発において欧米外では最も影響力のある研究機関の一つ。

2024年、TIIは従来のFalcon（Transformer）シリーズとは別に、SSM純粋実装のFalcon Mambaシリーズを発表。

純粋SSM設計の意義

Falcon Mamba 2の最大の特徴はTransformer層を一切含まない設計。

通常のTransformerLLMはアテンション計算において：

• シーケンス長Lに対してO(L²)のメモリ
• KVキャッシュが推論時に増大

Falcon Mamba 2はSSM（Structured State Space Model）のみで全処理を行い：

• O(1)状態サイズ: シーケンス長によらず固定メモリ
• KVキャッシュゼロ: アテンション機構非搭載のため不要
• 線形時間推論: L倍の長さに対してL倍の時間（二次乗ではない）

純粋SSMの制約

「in-context retrieval」（プロンプト中の特定情報の正確な参照）がTransformerより劣ることが知られており、これがハイブリッドモデルがアテンション層を残す主な理由。

アーキテクチャ仕様

• 総パラメータ: 7.267B
• 層数: 64 Mamba-2ブロック
• 状態次元（D_state）: 16
• 展開係数（expand）: 2
• ヘッド数: 128（SSM heads）
• 語彙サイズ: 65,024

性能・効率の実測値

ベンチマーク（2024年8月公開時）

• HuggingFace Open LLM Leaderboard v2: 純粋SSMカテゴリ1位（スコア53.0）
• MMLU: 62.0（Llama 3.1 8B: 66.7より劣後）
• HellaSwag: 80.5（Llama 3.1 8B: 82.2と近似）
• Winogrande: 77.0

推論効率（A100-40GB, batch_size=1）

• トークン生成スループット: Llama 3.1 8B比3.1倍
• 最大コンテキスト長（メモリ制約なし）: 理論上無制限
• 16Kトークン時メモリ: Llama 3.1比87%削減

ライセンスと公開状況

TIIPhase-1ライセンス（商用利用条件あり）で公開。HuggingFace上でtiiuae/falcon-mamba-7bとして利用可能。量子化版（GGUF/GPTQ）も各所から提供されている。

まとめ

純粋SSMとしてのFalcon Mamba 2は、KVキャッシュが問題となる超長文処理・ストリーミング推論シナリオで独自の強みを持つ。ただしin-context retrievalの劣後を許容できるユースケース選定が重要。