量子化（リョウシカ）
LLM精度低減高速化技術。FP32→FP16→FP8→FP4→INT4→INT2段階、GPTQ・AWQ・GGUF Q4_K_M/Q5_K_M/Q8_0・bitsandbytes・SmoothQuant・QLoRA・Marlin kernel・TorchAO・NVIDIA FP4 PTQが2026年代表、Llama 4 70B INT4で24GB VRAM稼働可能。
概要
量子化は、LLM の推論精度を維持しつつ、演算コストとメモリ使用量を削減する手法である。
FP32 から FP16、FP8、FP4、INT4、INT2 へとビット幅を縮小し、計算量を約 8 倍に抑えることができる。
2026 年の代表的実装として GPTQ、AWQ、GGUF Q4_K_M/Q5_K_M/Q8_0、bitsandbytes、SmoothQuant、QLoRA、Marlin kernel、TorchAO、NVIDIA FP4 PTQ が挙げられる。
Llama 4 70B を INT4 で実行すると、24GB GDDR7 の VRAM で稼働可能となり、従来の 80GB 以上のメモリ要件を大幅に削減した。
主な特徴・仕組み
量子化は、重みと活性を低ビット表現に丸めることで、演算単位を 32bit から 4bit へと縮小する。
FP4 では 16 値の符号付き表現、INT4 では 16 値の整数表現を採用し、FP8 と比べて 2 倍の速度向上を実現。
INT2 では 4 値しか表現できないが、特定のタスクで 1.5% 以内の精度低下を許容し、さらに 4 倍のメモリ削減を可能にする。
量子化は、モデルの重みを事前に量子化し、推論時に低ビット演算を行う「ポストトレーニング量子化（PTQ）」と、学習時に量子化を組み込む「量子化感知学習（QAT）」の二種類がある。
2025 年に登場した Marlin kernel は、INT4 での行列演算を最適化し、FP16 での実行に匹敵する速度を実現した。
スペック/製品比較表
| 量子化レベル | ビット幅 | メモリ削減 | 推論速度 | 精度低下 |
|---|---|---|---|---|
| FP32 | 32 | 1× | 1× | 0% |
| FP16 | 16 | 2× | 1.5× | 0.5% |
| FP8 | 8 | 4× | 2× | 1.0% |
| FP4 | 4 | 8× | 3× | 1.5% |
| INT4 | 4 | 8× | 3.5× | 2.0% |
| INT2 | 2 | 16× | 4× | 2.5% |
具体例・対応製品
- RTX 5090：24GB GDDR7、PCIe 5.0 x16、TDP 350W、FP4 で 70B モデルを 1.8×高速化。
- Ryzen 9 9950X3D：5.7GHz、3.5GHz、TDP 120W、INT4 推論で 2.5×速度向上。
- Core Ultra 9 285K：4.0GHz、DDR5-6000、INT4 で 1.6×メモリ削減。
- DDR5-6000：6000MHz、16GB、INT4 で 32GB 以上のモデルを実行可能。
- PCIe 5.0 x16：最大 32GB/s、INT4 で 70B モデルを 2.2×高速化。
自作PCでの選び方・注意点
- GPU の VRAM が 24GB 以上であること。
- PCIe 5.0 x16 を採用し、帯域幅を確保。
- CPU のクロックが 5.0GHz 以上で、INT4 での演算を高速化。
- メモリは DDR5-6000 以上を推奨。
- 電源は 350W 以上、80 PLUS Gold 以上の効率を持つもの。
- ケースは 600mm 以上で冷却性能を確保。
- ソフトウェアは CUDA 12.0 以上、NVIDIA FP4 PTQ をサポート。
- モデルの量子化設定は Q4_K_M をベースに調整。
- バックアップは 1TB SSD で行い、データ損失を防止。
- 量子化後の精度は 2.0% 以内に抑えるため、検証用データセットを用意。
関連用語との違い
- QLoRA：低ビット量子化を行う際に、量子化誤差を補正する学習手法。量子化そのものではなく、補正アルゴリズムである。
- Marlin kernel：INT4 での行列演算を最適化したライブラリ。量子化手法と組み合わせて使用する。
- SmoothQuant：量子化誤差をスムーズに分散させる手法で、INT4 での精度低下を最小化。
- AWQ：自動量子化を行うツールで、モデルごとに最適なビット幅を決定。
よくある質問
Q1: INT4 での推論はどの程度遅くなるの？
A1: INT4 は FP16 と比べて 1.5 倍程度高速化が期待でき、FP32 では 3 倍以上の速度向上が報告されている。
Q2: 量子化後の精度低下は許容範囲か？
A2: 70B モデルでは INT4 で 2.0% 以内の精度低下が確認されており、実務での使用に耐えるレベルである。
Q3: 量子化を行う際に必要なソフトウェアは？
A3: CUDA 12.0 以上、NVIDIA FP4 PTQ、bitsandbytes、AWQ などが代表的で、Python 3.10 以上が推奨される。
まとめ
量子化は、LLM の推論を高速化し、VRAM 要件を大幅に削減する技術である。
2026 年の代表的実装を組み合わせることで、RTX 5090 などの最新 GPU で 70B モデルを 24GB で実行可能にし、FP32 での実行に匹敵する速度を実現できる。
自作 PC で量子化を活用する際は、GPU、CPU、メモリ、電源、冷却といったハードウェア構成を最適化し、ソフトウェア側では Q4_K_M や INT4 などの設定を適切に選択することが重要である。