Falcon Mamba 7B (TII 2024)（ファルコンマンバ7ビー2024）
TII (UAE) 2024年8月発表世界最大級 Pure Mamba LLM。7B パラメータ・5.5T トークン学習・Apache 2.0・無限長 context
概要
Falcon Mamba 7B は 2024年8月12日に UAE Technology Innovation Institute (TII、Abu Dhabi、2020年設立、UAE 国家 AI 研究機関) が発表した世界最大級 Pure Mamba LLM（HuggingFace: tiiuae/falcon-mamba-7b、論文: arXiv:2410.05355）。7B パラメータ・5.5T トークン学習・Apache 2.0・無限長 context 対応で Pure Mamba (Transformer ブロック完全不使用) の本格商用展開モデル。
TII は 2020 年に UAE 政府支援で設立された AI 研究機関で、Falcon シリーズ（2023 Falcon 7B/40B/180B、2024 Falcon Mamba、2024-11 Falcon 3 系）を継続発表、Apache 2.0 で完全 OSS 公開。UAE の AI 国家戦略の中核で「中東発世界級 OSS LLM」として地政学的にも注目される存在。
革新は (1) Pure Mamba (Mamba-2 ブロックのみ、Transformer ブロックなし) で 7B スケールに到達 (2) 5.5T トークン学習 = 当時 SSM LLM 最大規模 (3) 無限長 context = メモリ一定で 32K・128K・1M トークン全て同じメモリ消費 (4) Falcon Mamba Instruct バージョンで対話最適化 (5) MMLU 62.1% (同サイズ Transformer Mistral 7B = 60.1% を上回り)。
「Pure Mamba で Transformer 同等性能」を 7B スケールで実証した点で歴史的意義大、SSM 系統 LLM の実用性を商業的に証明。後続 (Zamba2-7B 2024-10、Codestral Mamba 7B 2024-07) と並ぶ SSM 商用 LLM 御三家の一角。
主な特徴・仕組み
- アーキテクチャ: Pure Mamba-2 (64 Mamba layer、Transformer 不使用)
- パラメータ: 7B
- 学習データ: 5.5T トークン (英語中心、コード含む)
- コンテキスト: 無限長（メモリ一定）・実用 32K-1M
- MMLU: 62.1% (Mistral 7B 60.1% 上回り)
- GSM8K: 35.5%
- TruthfulQA: 47.4%
- 派生: Falcon Mamba 7B Base・Falcon Mamba 7B Instruct
- VRAM: FP16 14GB・INT4 4GB
- ライセンス: Apache 2.0
- メモリ消費: sequence 長に依存しない (Transformer の致命的弱点を解消)
- OS バージョン: Falcon Mamba 7B (2024-08-12)・Instruct (2024-08)
スペック比較表
| 項目 | Falcon Mamba 7B (2024) | Mistral 7B | Codestral Mamba 7B | Zamba2-7B | Llama 3 8B |
|---|---|---|---|---|---|
| アーキテクチャ | Pure Mamba | Transformer | Pure Mamba | Mamba+Transformer | Transformer |
| パラメータ | 7B | 7B | 7B | 7B | 8B |
| 学習データ | 5.5T | 8T | unknown | 3T | 15T |
| MMLU | 62.1% | 60.1% | unknown | 65.2% | 66.6% |
| コンテキスト | 無限長 | 32K | 256K | 4K | 8K |
| ライセンス | Apache 2.0 | Apache 2.0 | Apache 2.0 | Apache 2.0 | Llama 3 License |
具体例・対応製品
- tiiuae/falcon-mamba-7b (HuggingFace 2024-08): 公式 Base 版
- tiiuae/falcon-mamba-7b-instruct: Instruct 版、対話最適化
- Falcon Mamba 7B 4bit (GGUF): 量子化版、エッジ動作可
- mamba-ssm v2 互換: 公式 Python ライブラリで推論可
- TII Falcon 3 (2024-11): 後継シリーズ、Transformer 系統復活
選び方・注意点
- 超長文タスク最強: 1M+ context が無限長 + メモリ一定、Transformer LLM では不可能な領域
- Apache 2.0: 商用利用完全自由、Llama 3 License より柔軟
- MMLU 62.1%: 同サイズ Mistral 7B 凌駕、Llama 3 8B には僅か劣
- Pure Mamba の実証: Transformer ブロック不使用で 7B スケール到達、SSM 系統研究の象徴
- エッジ推論: INT4 4GB で RTX 4060 / Mac mini M2 動作可、超長文 + エッジの組合せ独自
- 後継 Falcon 3 で Transformer 系統復活: TII は 2024-11 Falcon 3 で Transformer 系統再採用、Pure Mamba 路線は実験的試行という側面
- TII UAE 国家戦略: 中東発 OSS LLM の代表、地政学的にも注目される
関連用語との違い
| 用語 | 違い |
|---|---|
| Falcon Mamba 7B (TII 2024) | Pure Mamba 7B・5.5T 学習・Apache 2.0 |
| Mamba (Gu & Dao 2023) | SSM 初実装・研究用 |
| Mamba-2 (Tri Dao 2024) | SSD 統一・8 倍速 |
| xLSTM (Sepp Hochreiter 2024) | LSTM 復興別系統 |
| Liquid Foundation Models (2024) | Liquid NN 系統 |
よくある質問（FAQ）
Q1: 「無限長 context」は本当に無限？ A: 理論上無限・メモリ消費一定だが、実用は (1) 学習データの context 長で性能上限決まる (2) 1M トークン超では情報忘却問題発生 (3) 推論時間は O(N) なので長文ほど時間かかる。「無限長対応 + 32K-1M 実用」が現実、Transformer の 8K-200K 制限とは明確に異なる。
Q2: なぜ UAE TII が SSM LLM 開発？ A: UAE 国家 AI 戦略「Stargate UAE」(2025) で AI 自国能力構築を推進、TII Falcon シリーズで「中東発世界級 OSS LLM」プレゼンス確立。Mamba は米国・中国系研究者主導の Transformer 一辺倒に対する技術的差別化、地政学的にも「米中以外の OSS LLM」として注目度向上戦略。
Q3: 後継 Falcon 3 で Transformer 復活の理由は？ A: 2024-11 発表 Falcon 3 (7B/10B) は Transformer 系統採用、Pure Mamba 路線継続せず。理由は (1) Pure Mamba は in-context learning・複雑 reasoning で Transformer 劣る (2) 学術研究としては成功も商用での Transformer 優位性確認 (3) 競合 Llama 3・Mistral も Transformer 系統で進化、市場ニーズ重視で軌道修正。
まとめ
- UAE TII 2024年8月発表・世界最大級 Pure Mamba LLM
- 7B・5.5T トークン学習・無限長 context
- Apache 2.0・MMLU 62.1% (Mistral 7B 凌駕)
- Pure Mamba 系統の実用性商業実証
- UAE 国家 AI 戦略の象徴的モデル