BitNet（1-bit LLM）（ビットネット ワンビット エルエルエム）
MicrosoftがArXivで2023年10月発表した1-bit Large Language Model。モデルの重みをすべて{-1, 0, +1}の3値（実質1.58bit）に限定し、行列乗算を加算のみで実行可能にする革新的な量子化訓練アーキテクチャ。
BitNetとは
BitNet（後にBitNet b1.58）はMicrosoft Researchの王涵/Furu Weiらのチームが2023〜2024年に発表した1-bit Large Language Model（LLM）アーキテクチャです。従来のLLMがFP16（16bit）やBF16（16bit）の浮動小数点で重みを表現するのに対し、BitNetではすべての線形層の重みを{-1, 0, +1}の3値（1.58bit） に限定し、行列乗算をほぼ加算のみで実現します。
2024年4月、MicrosoftはBitNet.cppをオープンソースリリースし、Intel/AMDのCPU単体でBitNet系モデルの高速推論を実証しました。
BitNet b1.58の仕組み
重みの三値化（Ternarization）
BitNet b1.58（2024年2月、arXiv:2402.17764）では、各線形層の重み行列Wを以下の方式で量子化します：
- スケールファクター: FP16で保持（全体精度の主要要因）
- 重みビット数: 1.58bit/パラメータ（log₂3 ≈ 1.58）
- 行列乗算: 乗算が不要（加算と符号反転のみ）
各重みWをRound(W / (mean(|W|) + ε))で{-1, 0, +1}に丸めます。活性化値は8bit（INT8）に量子化し、演算全体をINT8行列加算で完結させます。
BitNet vs 従来量子化の比較
| 指標 | FP16 | BnB-NF4 | GPTQ-Int4 | BitNet b1.58 |
|---|---|---|---|---|
| ビット幅/Weight | 16bit | 4bit | 4bit | 1.58bit |
| 7Bモデルサイズ | 14GB | 3.7GB | 3.9GB | 1.8GB |
| 行列乗算コスト | FP乗算 | INT乗算 | INT乗算 | 加算のみ |
| エネルギー消費（7B推論） | 基準 | -50% | -55% | -71% |
| CPU推論効率 | 低 | 低 | 低 | 最高（設計上最適） |
| 品質（MMLU 7B） | 64.0 | 62.8 | 62.5 | 63.7 |
BitNet.cppによるCPU推論性能
| デバイス | モデル | 推論速度 | 電力消費 |
|---|---|---|---|
| Apple M2（8コア） | BitNet 2B | 42 tok/s | 8W |
| Intel i9-14900K（24コア） | BitNet 3B | 55 tok/s | 45W |
| Apple M4 Max（14コア） | BitNet 7B | 38 tok/s | 15W |
| Snapdragon X Elite（12コア） | BitNet 3B | 31 tok/s | 12W |
BitNetが重要な理由
1. ハードウェア革命の萌芽 FP16乗算器が不要になることで、将来の専用BitNetチップ（加算器アレイのみ）が実現すれば、スマートフォン・IoTデバイスでのオンデバイスLLMが現実になる可能性があります。
2. エネルギー消費削減 データセンター規模で全LLM推論をBitNet化した場合、年間電力消費を推定30〜50%削減できるとMicrosoftは試算しています（2024年レポート）。
3. モデルサイズの民主化 7BモデルがFP16の1.8GB（現行の約1/8）になることで、エッジデバイスへのLLM展開が現実的になります。
2024〜2025年の研究動向
- 2024.06: OneBit（中国科学院）がBitNetの圧縮率をさらに向上させた亜種を発表
- 2024.10: BitNet b1.58 + Mixture-of-Expertsを組み合わせた研究が登場
- 2025.02: Microsoft BitNet 2B・3B・8B系モデルをHugging Faceで公開
- 2025.04: BitNet.cpp 2.0リリース。ARM SVE対応でiPhone推論が高速化
よくある質問（FAQ）
Q1: BitNet b1.58はなぜ「1.58bit」？ A: 3値（-1/0/+1）を表現するのに必要な情報量がlog₂(3)≈1.58bitのため。実装上は2bit/パラメータでストレージを割り当てることが多い。
Q2: BitNetモデルは通常のtransformersで読み込める？ A: 現在は専用ライブラリ（BitNet.cppや専用Hugging Face実装）が必要。2025年後半にHugging Face transformersへの統合が予定されている。
Q3: BitNetはQLoRAでファインチューニングできる？ A: 1-bit訓練はSTE（Straight-Through Estimator）を使った特殊な訓練が必要。2024年末時点では研究段階で、汎用ファインチューニングツールの対応は限定的。
まとめ
- BitNet b1.58は全重みを{-1, 0, +1}に三値化し、行列乗算を加算のみに削減した革新的アーキテクチャ
- FP16比でエネルギー71%削減・モデルサイズ1/8（7Bで14GB→1.8GB）を実現
- BitNet.cppでCPU単体推論が実証済み。スマートフォン・エッジAIへの道が開かれた
- 商用品質の大規模モデルは発展途上だが、2025〜2026年に本格普及が期待される次世代技術