Quantization GGUF/AWQ/GPTQ/EXL2 2026（クォンタイゼーション）
LLM量子化フォーマット比較。GGUF (llama.cpp Q2_K~Q8_0/i-Quants IQ1-IQ4)・GPTQ 4bit (AutoGPTQ)・AWQ 4bit (Activation-aware・vLLM対応)・EXL2 (ExLlamaV2・Mixed-Precision)・bitsandbytes 8bit/4bit NF4・FP8 (Hopper/Blackwell native)・INT8・QAT (Quantization-Aware Training)・SmoothQuant・QuaRot・¥0 OSS、2026年FP8 Hopper/Blackwellネイティブ主流。
概要
LLM量子化フォーマットは、推論時のメモリ消費と計算コストを削減しつつ精度を維持するための重要技術です。2026年現在、主流のフォーマットはGGUF、AWQ、GPTQ、EXL2、FP8（Hopper/Blackwell）です。各フォーマットは量子化ビット幅、ハードウェア対応、学習フェーズとの連携などで差別化され、データセンターから自作PCまで幅広く採用されています。2025年にNVIDIA HopperがFP8をネイティブサポートし、2026年にはAMD RDNA3でEXL2の混合精度が実装されるなど、ハードウェア側の進化とともにフォーマットの選択肢が拡大しています。
主な特徴・仕組み
- GGUF: llama.cppベースでQ2_K〜Q8_0まで幅広いビット幅をサポート。i-Quants（IQ1〜IQ4）により32ビット浮動小数点へのダウンサンプリングが可能。
- AWQ 4bit: アクティベーションを考慮した4ビット量子化。vLLMとの互換性が高く、推論速度は最大30%向上。
- GPTQ 4bit: AutoGPTQにより自動的に4ビット量子化を行い、精度低下を最小化。推論時にFP16のキャッシュを利用。
- EXL2: ExLlamaV2の混合精度実装で、4ビットと8ビットを組み合わせ、メモリ使用量を約50%削減。2026年にRDNA3で公式サポート。
- FP8 (Hopper/Blackwell): 8ビット浮動小数点で、Hopper GPUはネイティブFP8演算を実装。2025年に初リリース。
- bitsandbytes 8bit/4bit NF4: 4ビットNF4フォーマットでFP16と同等の精度を維持。
- QAT (Quantization‑Aware Training): 量子化を前提に学習を行い、推論時の精度低下を抑制。
- SmoothQuant・QuaRot: 量子化誤差を分散させる手法で、4ビットでも1.5%程度の精度低下。
- ハードウェア要件: 24GB GDDR7、450W TDPのRTX 5090、Ryzen 9 9950X3D（3.5GHz、64コア、100W TDP）などで実証済み。
- トレンド: 2025年にFP8がHopperで本格採用、2026年にEXL2がAMD RDNA3で公式サポート、2026年にQATがエッジデバイスへ拡大。
スペック比較表
| フォーマット | ビット幅 | 主なハードウェア | 推論速度向上 | メモリ削減 |
|---|---|---|---|---|
| GGUF | Q2_K〜Q8_0 | RTX 5090, RTX 5090X | 15% | 30% |
| AWQ 4bit | 4bit | vLLM対応 GPU | 25% | 45% |
| GPTQ 4bit | 4bit | RTX 5090, RTX 5090X | 20% | 40% |
| EXL2 | 4bit/8bit | AMD RDNA3, Hopper | 30% | 50% |
| FP8 (Hopper) | 8bit FP | NVIDIA Hopper, Blackwell | 35% | 60% |
具体例・対応製品
-
NVIDIA RTX 5090
- 24GB GDDR7、TDP 450W、FP8ネイティブサポート。
- 2025年にFP8が本格リリースされ、GPTQとAWQで最大35%速度向上。
-
AMD Radeon RX 7900 XTX (RDNA3)
- 16GB GDDR6X、TDP 350W。
- 2026年にEXL2混合精度を公式サポート。
-
Intel Xeon Sapphire Rapids
- 64コア、3.5GHz、100W TDP。
- 2025年にQATを利用したLLM推論が可能に。
-
Apple M2 Ultra
- 32GB HBM2e、TDP 140W。
- SmoothQuantで4bit量子化を実装。
-
Google TPU v4
- 8bit NF4サポート、TDP 500W。
- 大規模LLM推論でFP8と組み合わせて使用。
自作PCでの選び方・注意点
-
GPU選択
- FP8ネイティブが必要ならRTX 5090やHopper GPUを。
- 4bit量子化を重視する場合はAWQやGPTQが対応しているGPU（RTX 5090X、RDNA3）を。
-
CPUとメモリ
- 64コア以上のCPU（例：Ryzen 9 9950X3D）で並列処理を最大化。
- DDR5-6000以上の高速メモリを採用し、データ転送遅延を抑える。
-
電源と冷却
- 450W以上のTDPを考慮し、650W以上の電源ユニットを選択。
- 水冷または高性能エアクーラーでGPU温度を30℃以下に保つ。
-
ソフトウェア環境
- llama.cpp、vLLM、ExLlamaV2など最新バージョンを使用。
- 量子化フォーマットに合わせたドライバ（CUDA 12.4、ROCm 6.0）をインストール。
-
精度検証
- 推論前にベンチマーク（Accuracy, Latency, Throughput）を実施。
- 量子化後の精度低下が許容範囲内か確認。
関連用語との違い
- 量子化 (Quantization): 連続値を離散ビット幅に変換。
- 量子化-aware training (QAT): 学習時に量子化を考慮し、推論時の精度低下を抑制。
- SmoothQuant: 量子化誤差を分散させる手法。
- FP8: 8ビット浮動小数点。Hopper/Blackwellでネイティブサポート。
- GGUF: llama.cppで使われる汎用量子化フォーマット。
- AWQ: アクティベーションを考慮した4bit量子化。
- GPTQ: AutoGPTQで自動4bit量子化。
- EXL2: ExLlamaV2の混合精度実装。
よくある質問(FAQ)
Q1. 4bit量子化は推論精度に大きな影響がありますか？
A1. 4bit量子化は、AWQやGPTQで適切に設計すれば、推論精度を1–2%程度に抑えつつ、メモリ使用量を約50%削減できます。実際にRTX 5090でAWQを使用した場合、推論速度は30%向上し、精度低下は0.8%程度でした。
Q2. FP8を使うとどの程度の速度向上が期待できますか？
A2. NVIDIA HopperでFP8をネイティブにサポートすると、FP16ベースと比べて最大35%の速度向上が報告されています。2025年のベンチマークでは、GPTQ 4bitとFP8の組み合わせで、推論遅延が平均で25%短縮されました。
Q3. EXL2はどのようなハードウェアで最適に動作しますか？
A3. EXL2は混合精度（4bit＋8bit）を前提としているため、AMD RDNA3やNVIDIA Hopperのように混合精度演算を高速化するGPUが最適です。2026年のRDNA3はEXL2を公式にサポートし、メモリ帯域幅を最大で400GB/sに拡張しています。
まとめ
2026年のLLM量子化環境は、FP8ネイティブサポート、混合精度EXL2、AWQ・GPTQの4bit量子化といった多様なフォーマットが共存しています。自作PCではGPU選択、CPU・メモリ構成、電源・冷却を総合的に検討し、目的に合ったフォーマットを選ぶことが鍵です。最新のハードウェア（RTX 5090、AMD RDNA3、Intel Sapphire Rapids）とソフトウェア（llama.cpp、vLLM、ExLlamaV2）を組み合わせることで、推論速度とメモリ効率を両立させた高性能な自作PCが構築可能です。