AWQ Quantization（エーダブリュキュークォンタイゼーション）

概要\n\nAWQ Quantization(エーダブリュキュー クォンタイゼーション)はMIT-Han-Lab 2023年6月公開のAWQ(Activation-aware Weight Quantization)量子化アルゴリズムで、Pro 業界Pro Mainstream Activation-aware Weight量子化先駆 + Pro 米国MIT-Han-Lab + Pro Salient Channels保護 + Pro 4bit GPU特化 + Pro AutoAWQ + Pro Activation-aware Weight量子化先駆 Heritage継承代表機 + Pro Salient Channels保護 Heritage継承代表機 + 累計2023-2026年3年Heritage Pro Top独占代表機。AWQ主要機能: (1)MIT-Han-Lab主導(米国MIT + Song Han)、(2)Pro 業界Pro Mainstream Activation-aware Weight量子化先駆、(3)Pro Salient Channels保護、(4)Pro 4bit GPU特化、(5)Pro AutoAWQ、(6)Pro PTQ(Post-Training Quantization)、(7)Pro Activation Statistics、(8)Pro 1% Salient Channels保護、(9)Pro per-channel scaling、(10)Pro Calibration Dataset(pile/c4)、(11)Pro group_size 32/64/128、(12)Pro huggingface transformers統合、(13)Pro vLLM/TGI/AutoAWQ採用、(14)Pro GEMM/GEMV kernel、(15)Pro MLSys 2024 Best Paper Award、(16)Pro 採用: Pro GPU推論Power User/vLLM Server/Server Inference、(17)累計2023-2026年3年Heritage Pro Top独占。\n\n## 主な特徴・仕組み\n\n- 公開: 2023-06 AWQ論文 + MLSys 2024 Best Paper Award\n- MIT-Han-Lab: 米国MIT + Song Han + Ji Lin/Jiaming Tang/Haotian Tang等\n- Pro 業界Pro Mainstream Activation-aware Weight量子化先駆\n- Salient Channels保護: 1%重要Channels保護量子化業界先駆\n- 4bit GPU特化\n- AutoAWQ\n- PTQ(Post-Training Quantization)\n- Activation Statistics\n- 1% Salient Channels保護 + per-channel scaling\n- Calibration Dataset: pile/c4\n- group_size 32/64/128\n- huggingface transformers統合\n- vLLM/TGI/AutoAWQ採用\n- GEMM/GEMV kernel\n- 採用: Pro GPU推論Power User/vLLM Server/Server Inference\n- 累計2023-2026年3年Heritage\n\n## スペック比較表\n\n| Quantization | 特化 | 速度 | 量子化Bit | エコ |\n|--------------|------|------|----------|-----|\n| GGUF (Q4_K_M) | CPU/GPU両対応 Single File | 中速 | 4.8bit avg | llama.cpp+Ollama+LM Studio |\n| GPTQ | GPU特化 (transformers) | 高速 | 3-4bit | AutoGPTQ + transformers |\n| AWQ | GPU特化 (NVIDIA重み) | 高速 | 4bit | AutoAWQ + transformers |\n| BitsAndBytes (NF4) | GPU bitsandbytes | 中速 | 4bit (NF4) | transformers + PEFT |\n| EXL2 | GPU特化 (ExLlamaV2) | 最速 | 2-8bit可変 | ExLlamaV2 + tabbyAPI |\n\n## 具体例・対応製品\n\n- : Activation-aware Weight量子化先駆\n- \n- \n- \n- : Pro GPU推論Power User/vLLM Server/Server Inference\n\n## 自作PCでの選び方・注意点\n\nAWQ 選択ポイント: (1)Pro Activation-aware Weight量子化先駆 + 3年Heritage、(2)Pro MIT-Han-Lab米国MIT + Pro Song Han + Pro MLSys 2024 Best Paper、(3)Pro Salient Channels保護(1%重要Channels) + Pro 4bit GPU特化 + Pro AutoAWQ、(4)Pro Activation Statistics + Pro per-channel scaling + Pro Calibration Dataset(pile/c4) + Pro group_size 32/64/128、(5)Pro huggingface transformers統合 + Pro vLLM/TGI/AutoAWQ + Pro GEMM/GEMV kernel + Pro GPU推論Power User/vLLM Server/Server Inference採用 真価発揮。\n\n## 関連用語との違い\n\n: IST Austria + Pro Layer-wise GPU量子化先駆 + Pro Hessian Approximation + Pro 3-4bit + Pro AutoGPTQ + 累計4年Heritage。AWQ(2023-06 + MIT-Han-Lab + Pro Activation-aware Weight量子化先駆 + Pro Salient Channels保護 + Pro 4bit + Pro AutoAWQ + 累計3年Heritage)競合 + 8ヶ月後継 + Pro IST Austria → Pro MIT-Han-Lab + Pro Hessian → Pro Activation-aware + Pro Layer-wise → Pro Salient Channels保護 + 4年 vs 3年Heritage。\n\n: Tim Dettmers + Pro On-the-fly量子化先駆 + Pro NF4/8bit + Pro QLoRA基盤 + 累計4年Heritage。AWQ(2023-06 + MIT-Han-Lab + Pro Activation-aware Weight量子化先駆 + Pro 4bit + Pro AutoAWQ + 累計3年Heritage)競合 + 1年後継 + Pro Tim Dettmers → Pro MIT-Han-Lab + Pro On-the-fly → Pro PTQ + Pro NF4 → Pro Salient Channels保護 + 4年 vs 3年Heritage。\n\n## よくある質問(FAQ)\n\n\nA: 2023-06 AWQ論文公開Pro Famous Story類無し + Pro 業界Pro Mainstream Activation-aware Weight量子化先駆 + 累計2023-2026年3年Pro Mainstream LLM GPU量子化業界Top独占Heritage Pro Reference。\n\n\nA: Pro Salient Channels保護Pro Famous類無し(Pro 1%重要Channels保護量子化業界先駆) + Pro 4bit GPU特化 + Pro AutoAWQ + Pro PTQ(Post-Training Quantization) + Pro Activation Statistics + Pro 1% Salient Channels保護 + Pro per-channel scaling + Pro Calibration Dataset(pile/c4) + Pro group_size 32/64/128 + Pro huggingface transformers統合 + Pro vLLM/TGI/AutoAWQ採用 + Pro GEMM/GEMV kernel + Pro MLSys 2024 Best Paper Award Heritage Pro Reference。\n\n\nA: Pro 採用: Pro GPU推論Power User/vLLM Server/Server Inference + Pro AWQ系譜(AWQ論文 2023-06/AutoAWQ 2024/MLSys Best Paper 2024/AWQ v2 2025予定継承) + Pro Multi-Generation Heritage Pro Reference。\n\n## まとめ\n\n- 2023-06 MIT-Han-Lab AWQ論文 + MLSys 2024 Best Paper Award\n- Song Han + Ji Lin/Jiaming Tang/Haotian Tang等主導\n- Salient Channels保護(1%重要Channels) + per-channel scaling + 4bit GPU特化\n- AutoAWQ + Calibration Dataset(pile/c4) + group_size 32/64/128\n- huggingface transformers + vLLM/TGI + GEMM/GEMV kernel + 3年Heritage