LLM Quantization (GGUF・INT4/INT8/FP8/FP4)（エルエルエムクオンタイゼーション）
LLMの重み精度を低減し、メモリ消費量と計算負荷を抑える技術。FP16からINT8/INT4/FP4等へ変換することで、巨大なモデルをコンシューマ向けGPUやエッジデバイスでの高速推論・動作可能にする手法。
概要
LLM Quantization（量子化）は、ニューラルネットワークの重み（Weights）を保持するビット精度を下げることで、メモリ帯域幅のボトルネックを解消し、推論スループットを劇的に向上させる技術です。LLMのパラメータは通常FP16（16bit/param）などの高精度な浮動小数点数で管理されますが、これでは巨大なモデルほど膨大なVRAM容量を必要とします。量子化によってINT8（8bit）やINT4（4bit）、さらには最新のFP4（4bit）へと圧縮することで、計算に必要なメモリ占有量を削減し、単一のコンシューマ向けGPU（RTX 4090等）でも大規模モデルの実行を可能にします。
量子化手法・フォーマット比較表
| 手法/形式 | 特徴 | 主なターゲット・用途 |
|---|---|---|
| GGUF (GGML系) | k-quantによる柔軟なビット混合。CPU/GPU混在推論に極めて強い | llama.cpp, Apple Silicon, エッジデバイス |
| GPTQ | Post-Training Quantization (PTQ) の代表格。重みの誤差を最小化 | 高速なGPU推認（VRAM容量重視） |
| AWQ | Activation-aware。重要な重みを保護し、精度低下を抑制 | 精度と速度のバランス、最新LLMの標準 |
| EXL2 | Mixed precision。ビット数を細かく調整可能 | 極限まで高速化したいGPUユーザー向け |
メモリ削減効果のシミュレーション
モデルのパラメータ数（N）が同一であっても、量子化ビット数によって必要なVRAM容量は以下のように劇的に変化します。
例：Llama 3.1 70B クラスのモデルにおける推論要件
- FP16 (Original): 約140GB $\to$ A100/H160等のプロ向けGPUが必須
- Q4_K_M GGUF: 約42GB $\to$ 複数GPU、または高容量VRAM環境が必要
- INT4 / FP4 Optimized: 約35GB以下 $\to$ さらなる最適化により、単体24GBのRTX 4090等のコンシューマ向け環境での動作圏内へ
関連用語との違い
- Pruning (枝刈り): 重みのうち不要な接続（ゼロに近い値）を削除して構造自体を軽量化する技術。量子化は「数値の精度」を下げるが、枝刈りは「接続数」そのものを減らす。
- Knowledge Distillation (蒸留): 巨大な教師モデルの知識を、より小さな生徒モデルに継承させる手法。量子化とはモデル構造の学習プロセス自体が異なる。
最新動向：2025-2026年のパラダイムシフト
AIハードウェアの進化に伴い、量子化は「推論時」だけでなく「学習時」へと拡大しています。NVIDIA Blackwell B200等の最新アーキテクチャでは、FP4ネイティブ演算がサポートされており、H100（FP8）と比較して最大5倍のスループット向上が期待されています。また、AMD MI325XでもFP4への対応が進んでいます。次世代のLlama 4等の予測においては、FP4精度でのネイティブトレーニングが議論されており、AWQ-Marlin v2のようなGPU最適化カーネルの進化が、次世代AIインフラの鍵を握っています。
FAQ
Q1: 量子化による精度の低下は避けられないのか？ A: 精度低下（Perplexityの悪化）は発生しますが、AWQのように「重要な重み」を特定して保護する手法や、FP8/FP4といった新しい浮動小数点形式の導入により、実用上の知能への影響を極限まで抑えることが可能になっています。
Q2: GGUFとGPTQ、どちらを使うべきか？ A: CPUやApple Siliconを活用してメモリ不足を補いたい場合はGGUF、NVIDIA GPUの性能を最大限引き出し、トークン生成速度（Tokens per second）を最優先したい場合はGPTQやAWQが適しています。
Q3: なぜ最近はINT4よりもFP4が注目されているのか？ A: FP4（Floating Point 4）は、整数であるINT4に比べ、指数部を持つことで数値のダイナミックレンジを広く確保できます。これにより、モデルの表現力を維持しつつ低ビット化できるため、Blackwell等の最新ハードウェアにおいて標準的な演算形式となりつつあります。