BitNet（ビットネット）
Microsoftが提案した1bit級LLMアーキテクチャ。重みを{-1,0,+1}の三値（1.58bit）で表現するBitNet b1.58が代表で、行列乗算を加減算に置換し大幅な省メモリ・省電力を狙う次世代量子化。
概要
BitNetは、Microsoftが提案した1bit級のLLMアーキテクチャです。代表的なBitNet b1.58は、重みを{-1, 0, +1}の三値（log2(3)≒1.58bit）で表現します。従来のGGUF/GPTQ/AWQが学習済みモデルを後から量子化する（PTQ）のに対し、BitNetは最初から低ビットで学習する量子化対応学習（QAT）型である点が本質的に異なります。三値重みにより行列乗算を加減算に置換でき、メモリ・電力・レイテンシを大幅に削減。1.58bitでありながらFP16モデルに匹敵する性能を主張し、専用推論カーネルbitnet.cppでCPU高速推論を実現する、省エネLLM研究の最前線です。
主な特徴・仕組み
- 三値量子化: 重みを{-1,0,+1}の1.58bitで表現
- QAT型: 後処理でなく低ビット前提で学習
- 乗算レス: 行列乗算を加算・減算に置換し省電力
- bitnet.cpp: 専用カーネルでCPU上を高速推論
- 省メモリ: FP16比で大幅にメモリ削減
- エッジ志向: 低電力デバイスでのLLM実行を狙う
スペック比較表
| 項目 | BitNet b1.58 | GPTQ/AWQ(4bit) | FP16 |
|---|---|---|---|
| ビット幅 | 1.58bit | 4bit | 16bit |
| 量子化型 | QAT(学習時) | PTQ(事後) | なし |
| 演算 | 加減算 | 乗算 | 乗算 |
| 狙い | 省電力・エッジ | 省VRAM | 高精度 |
具体例・対応製品
MicrosoftはBitNet b1.58の各サイズや、2024年以降に「BitNet b1.58 2B4T」などの学習済みモデルを公開しています。bitnet.cppを使うとCPU上でも高速に推論でき、専用ハードがなくても省メモリの恩恵を受けられます。研究段階ながら、エッジAIや省電力LLMの方向性を示す重要なアーキテクチャです。
自作PCでの選び方・注意点
BitNetはPTQ手法（GGUF等）と異なり、対応する学習済みモデルが必要で、任意のモデルを後から1.58bit化はできません。エコシステムは発展途上で対応モデル数は限られます。省メモリ・省電力が魅力ですが、現時点では汎用的な4bit量子化（GGUF/AWQ）の方が実用モデルの選択肢が豊富です。
関連用語との違い
GGUF/GPTQ/AWQが学習済みモデルを後から量子化するPTQなのに対し、BitNetは最初から低ビットで学習するQATである点が決定的な違いです。4bit手法が乗算を残すのに対し、BitNetは三値化により乗算を加減算へ置換し、演算効率と省電力で一歩進んでいます。
よくある質問（FAQ）
Q1: 1bitなのに精度は大丈夫ですか？ A: 正確には1.58bit（三値）で、QATにより学習時から適応するため、b1.58はFP16に匹敵する性能を報告しています。
Q2: 既存モデルをBitNet化できますか？ A: 基本的にできません。BitNetは学習時から低ビット前提のため、対応する学習済みモデルを使う必要があります。
Q3: なぜ省電力なのですか？ A: 三値重みにより行列乗算を加算・減算に置き換えられ、乗算器の消費電力を大幅に削減できるためです。
まとめ
- 重みを三値(1.58bit)で表現する1bit級LLMアーキテクチャ
- PTQでなくQAT型、乗算を加減算化して省電力・省メモリ
- bitnet.cppでCPU推論可、省エネLLM研究の最前線