Quantization GGUF/AWQ/GPTQ（クオンタイゼーション）
LLM量子化formats。GGUF(llama.cpp/Ollama・Q4_K_M sweet spot・Q8_0 high quality・FP16 baseline)・AWQ(Activation-aware Weight Quantization・vLLM/SGLang・4-bit GPU推論)・GPTQ(Generative PreTrained Transformer Quantization・classic 4-bit)・bitsandbytes(Hugging Face・Q4/Q8 dynamic)・MLX-quantized(Apple Silicon Q4/Q8)・FP8(Blackwell H100/B100 native・Hopper以降)・FP4(Blackwell・Multi Frame Gen訓練)・Q2/Q3 extreme(quality低下大)・Q5_K_M sweet・2026年 GGUF Q4 Local/AWQ Server主流。
概要
LLM量子化は、モデル重みを低ビット化してメモリと演算負荷を削減する技術です。
2025年から2026年にかけて、GGUF/Q4 Localがデスクトップ向けで主流となり、AWQはサーバー向けに最適化、FP8はH100/B100でネイティブサポートが実装されました。
これらのフォーマットは、GPUに搭載されたTensor CoreやSIMD命令を活用しつつ、推論精度をほぼ維持しつつ4‑bit／8‑bitで実行できる点が特徴です。
自作PCでLLMを動かす際は、メモリ帯域、GPUバスレート、電力設計を総合的に考慮する必要があります。
主な特徴・仕組み
- GGUF
Q4_K_Mが最適なバランス（圧縮率 76% で 4‑bit）Q8_0は 8‑bit で 99% 近似精度、FP16 ベースラインに対し 50% 速い- llama.cpp で直接ロード、Ollama でもサポート
- AWQ
- アクティベーション重みを共に量子化（Activation‑aware）
- 4‑bit GPU 推論で 2.5× 速度向上、vLLM/SGLang で実装済み
- 2026年にサーバー向けに最適化、サーバー GPU で 80% 以上のスループット
- GPTQ
- 4‑bit で 90% 近似精度、量子化後の微調整が不要
- 2025年に多くの Hugging Face モデルでサポート開始
- FP8
- Blackwell H100/B100 でネイティブサポート、2026年に発表
- 8‑bit 浮動小数点で 1.5× 速度、メモリ帯域 30% 低減
- FP4
- Blackwell で実装、マルチフレーム生成トレーニングで 4‑bit で 85% 精度
- Q2/Q3
- エクストリームモード、品質低下が大きいが 90% 以上の圧縮率
- Q5_K_M
- 5‑bit で 95% 近似、2025年にデスクトップで人気
- bitsandbytes
- Hugging Face で動作、Q4/Q8 動的量子化
- MLX‑quantized
- Apple Silicon で Q4/Q8、M3 Ultra で 12.5× 速度向上
- 量子化後のメモリ使用例
- 7B GPT‑3.5 で 24GB GDDR7 → 6GB (Q4_K_M)
- 30B LLaMA で 32GB DDR5-6000 → 8GB (Q4_K_M)
スペック比較表
| フォーマット | ビット数 | 圧縮率 | 推論速度 (RTX 5090) | 推論精度 (BLEU) |
|---|---|---|---|---|
| GGUF Q4_K_M | 4 | 76% | 2.8× | 0.89 |
| AWQ 4-bit | 4 | 80% | 3.1× | 0.91 |
| GPTQ 4-bit | 4 | 70% | 2.5× | 0.88 |
| FP8 | 8 | 50% | 4.2× | 0.95 |
| Q2/Q3 | 2‑3 | 90% | 3.5× | 0.80 |
具体例・対応製品
| 製品 | GPU | メモリ | 量子化フォーマット | 価格 |
|---|---|---|---|---|
| RTX 5090 | NVIDIA Ada Lovelace | 24GB GDDR7 | GGUF Q4_K_M, AWQ, GPTQ | ¥128,000 |
| Ryzen 9 9950X3D | AMD Zen 5 | 64MB L3, 32MB L2 | なし（CPU 推論） | ¥269,000 |
| Apple M3 Ultra | Apple Silicon | 32GB DDR5-6000 | MLX‑quantized Q4 | ¥349,000 |
| NVIDIA H100 | Hopper | 80GB HBM3 | FP8, AWQ | ¥1,200,000 |
| AMD Radeon RX 7900 XTX | RDNA 3 | 24GB GDDR6 | GGUF Q4_K_M | ¥199,000 |
- RTX 5090 は 4‑bit で 3.1× 速度向上、メモリ 24GB GDDR7 で 6GB 量子化モデルを同時実行可能。
- Apple M3 Ultra は 4‑bit MLX‑quantized で 12.5× 速度向上、電力 450W TDP。
- NVIDIA H100 は FP8 ネイティブで 4.2× 速度、サーバー向け 1TB NVMe SSD で 3.5ms レイテンシ。
自作PCでの選び方・注意点
- GPU バスレート – 4‑bit 量子化は 10 Gbps 以上が望ましい。RTX 5090 は 32 Gbps PCIe 5.0。
- メモリ帯域 – 24GB GDDR7 で 1.2 TB/s。量子化後は 6GB で 800 GB/s で十分。
- 電力設計 – 4‑bit 推論は 450W TDP でも 650W PSU 推奨。
- CPU キャッシュ – 32MB L3 を持つ Ryzen 9 9950X3D はデータローディングが高速。
- 冷却 – 10°C 低温で 4‑bit 推論時に 90% 以上のスループット。
- ソフトウェア – llama.cpp で GGUF、vLLM で AWQ、bitsandbytes で GPTQ を選択。
- ドライバ – 最新 CUDA 12.3 / ROCm 6.0 をインストール。
- ストレージ – NVMe 1TB で 3.5ms 低レイテンシ、量子化モデルのロード時間を削減。
関連用語との違い
- 量子化 (Quantization) – 重みを低ビット化する一般手法。
- 量子化フォーマット – GGUF、AWQ、GPTQ はそれぞれ量子化アルゴリズムとファイル形式を定義。
- FP8 / FP4 – 浮動小数点 8/4 ビットで、量子化とは別に数値表現を変更。
- bitsandbytes – Hugging Face 用の動的量子化ライブラリ。
- MLX‑quantized – Apple Silicon 専用、Apple の MLX フレームワークで動作。
よくある質問(FAQ)
Q1. 4‑bit 量子化で精度が大幅に落ちるのでは？
A1. 4‑bit でも Q4_K_M では 90% 以上の BLEU を維持し、AWQ は 4‑bit で 91% 近似。実際に 30B LLaMA で 0.89 BLEU を達成。
Q2. GPU のメモリが足りない場合、どのフォーマットを選ぶべき？
A2. 24GB GDDR7 の RTX 5090 なら Q4_K_M で 6GB 量子化モデルを同時実行可能。足りない場合は Q2/Q3 で 90% 以上の圧縮率を活用。
Q3. FP8 はいつサポートされる？
A3. 2026年に NVIDIA H100/B100 でネイティブサポートが発表。既に Blackwell H100 で 4.2× 速度を実証。
まとめ
2025‑2026 年の量子化技術は、GGUF Q4 Local がデスクトップで主流、AWQ がサーバー向けに最適化、FP8 が H100/B100 でネイティブサポートという三つの大きな潮流が見えています。
自作PC で LLM を高速に動かすには、RTX 5090 のような高帯域 GPU、24GB GDDR7、450W 以上の PSU、そして最新のドライバと量子化ライブラリを組み合わせることが鍵です。
量子化フォーマットを適切に選択すれば、メモリ使用量を 4‑5 倍に削減しつつ、推論速度を 3‑4 倍に向上させることが可能です。