AWQ（エーダブリューキュー）
Activation-aware Weight Quantization。活性化の大きさから重要な重みチャネルを特定して保護し、4bit量子化の精度劣化を抑えるLLM量子化手法。GPTQより高精度とされGPU推論で広く採用される。
概要
AWQ（Activation-aware Weight Quantization）は、2023年にMITが提案した活性化を考慮するLLM量子化手法です。「すべての重みが等しく重要ではない」という観察に基づき、活性化（入力）が大きいチャネルに対応する少数の重みを保護することで、4bit量子化でも精度劣化を最小化します。具体的には重要チャネルをスケーリングで保護し、量子化誤差の影響を抑えます。再学習不要で4bit化でき、vLLMやTensorRT-LLM、Hugging Face Transformersが対応。GPTQより高精度とされ、GPU推論で広く採用される後継格の手法です。
主な特徴・仕組み
- 活性化考慮: 入力の大きいチャネルの重みを優先保護
- per-channelスケーリング: 重要チャネルをスケールで保護
- 再学習不要: キャリブレーションデータのみで量子化
- 4bit中心: 高精度な4bit量子化を実現
- 推論フレームワーク対応: vLLM/TensorRT-LLM/Transformers
- 高速サービング: バッチ推論で省VRAM・高スループット
スペック比較表
| 項目 | AWQ | GPTQ | GGUF |
|---|---|---|---|
| 着眼点 | 活性化の大きさ | ヘッシアン | ブロック量子化 |
| 精度 | 高い | 中〜高 | レベル依存 |
| 主用途 | GPUサービング | GPU推論 | CPU/GPU混在 |
| 対応 | vLLM/TRT-LLM | ExLlama等 | llama.cpp |
具体例・対応製品
vLLMでAWQモデルをサービングすると、4bit化により省VRAMで高スループットな推論が可能です。Llama 3・Qwen2.5・Mistralなど主要モデルのAWQ版が公開されています。TensorRT-LLMと組み合わせれば、NVIDIA GPUで本番運用クラスの低遅延推論を実現できます。
自作PCでの選び方・注意点
AWQはGPU推論前提で、vLLMやTensorRT-LLM環境で真価を発揮します。同じ4bitでもGPTQより精度が保たれやすいため、品質重視のGPUデプロイに向きます。CPU推論やオフロードが必要ならGGUFが適します。キャリブレーションデータの質が量子化精度に影響する点に注意します。
関連用語との違い
GPTQがヘッシアン（曲率）で量子化誤差を補正するのに対し、AWQは活性化の大きさで重要な重みを特定・保護する点が本質的な違いです。GGUFがCPU/GPU混在の汎用フォーマットなのに対し、AWQはGPUサービングでの高精度4bit推論に特化します。一般にAWQの方が新しく精度面で有利とされます。
よくある質問（FAQ）
Q1: GPTQより本当に高精度ですか？ A: 多くのベンチマークでAWQが同等以上の精度を示しますが、モデルやタスクにより差は変動します。新しいモデルではAWQ採用が増えています。
Q2: どのフレームワークで使えますか？ A: vLLM、TensorRT-LLM、Hugging Face Transformers（autoawq）などが対応します。GPUサービングで広く使われます。
Q3: 活性化を考慮するとは？ A: 入力（活性化）が大きいチャネルほど出力への影響が大きいため、そこに対応する重みを優先的に保護して誤差を抑える考え方です。
まとめ
- 活性化の大きさで重要な重みを保護する4bit量子化手法
- 再学習不要・高精度でvLLM/TensorRT-LLMが対応
- GPUサービング向け、GPTQの後継格として普及