BitsAndBytes Quantization（ビットアンドバイツクォンタイゼーション）

概要\n\nBitsAndBytes(ビットアンドバイツ クォンタイゼーション)はTim Dettmers(University of Washington) 2022年8月LLM.int8()公開 + 2023年5月NF4/QLoRA論文公開のbnb量子化ライブラリで、Pro 業界Pro Mainstream On-the-fly LLM量子化+QLoRA基盤先駆 + Pro 米国UW Tim Dettmers + Pro 8bit/4bit NF4/FP4 + Pro huggingface transformers/PEFT統合 + Pro On-the-fly LLM量子化+QLoRA基盤先駆 Heritage継承代表機 + Pro NF4/Double Quantization Heritage継承代表機 + 累計2022-2026年4年Heritage Pro Top独占代表機。bnb主要機能: (1)Tim Dettmers主導(米国UW)、(2)Pro 業界Pro Mainstream On-the-fly LLM量子化+QLoRA基盤先駆、(3)Pro 8bit/4bit NF4/FP4、(4)Pro huggingface transformers/PEFT統合、(5)Pro LLM.int8()(8bit)、(6)Pro 4bit NF4(NormalFloat4)、(7)Pro 4bit FP4、(8)Pro Double Quantization、(9)Pro Paged Optimizers、(10)Pro QLoRA(4bit fine-tuning)基盤、(11)Pro load_in_8bit/load_in_4bit引数、(12)Pro BitsAndBytesConfig、(13)Pro Mixed Precision推論、(14)Pro CPU offload、(15)Pro CUDA/ROCm/Apple Silicon対応、(16)Pro NeurIPS 2022 + 2023採択、(17)Pro 採用: Pro Fine-tuner/QLoRA User/transformers User/Researcher、(18)累計2022-2026年4年Heritage Pro Top独占。\n\n## 主な特徴・仕組み\n\n- 公開: 2022-08 LLM.int8() + 2023-05 NF4/QLoRA論文 + NeurIPS 2022/2023採択\n- University of Washington: 米国UW + Tim Dettmers + Mike Lewis等\n- Pro 業界Pro Mainstream On-the-fly LLM量子化+QLoRA基盤先駆\n- 8bit/4bit NF4/FP4: On-the-fly LLM量子化+QLoRA fine-tuning基盤業界先駆\n- huggingface transformers/PEFT統合\n- LLM.int8()(8bit)\n- 4bit NF4(NormalFloat4) + 4bit FP4\n- Double Quantization\n- Paged Optimizers\n- QLoRA(4bit fine-tuning)基盤\n- load_in_8bit/load_in_4bit引数 + BitsAndBytesConfig\n- Mixed Precision推論 + CPU offload\n- CUDA/ROCm/Apple Silicon対応\n- 採用: Pro Fine-tuner/QLoRA User/transformers User/Researcher\n- 累計2022-2026年4年Heritage\n\n## スペック比較表\n\n| Quantization | 特化 | 速度 | 量子化Bit | エコ |\n|--------------|------|------|----------|-----|\n| GGUF (Q4_K_M) | CPU/GPU両対応 Single File | 中速 | 4.8bit avg | llama.cpp+Ollama+LM Studio |\n| GPTQ | GPU特化 (transformers) | 高速 | 3-4bit | AutoGPTQ + transformers |\n| AWQ | GPU特化 (NVIDIA重み) | 高速 | 4bit | AutoAWQ + transformers |\n| BitsAndBytes (NF4) | GPU bitsandbytes | 中速 | 4bit (NF4) | |\n| EXL2 | GPU特化 (ExLlamaV2) | 最速 | 2-8bit可変 | ExLlamaV2 + tabbyAPI |\n\n## 具体例・対応製品\n\n- : On-the-fly LLM量子化+QLoRA基盤先駆\n- : University of Washington + Mike Lewis等\n- : ROCm/Intel/MPS\n- \n- : Pro Fine-tuner/QLoRA User/transformers User/Researcher\n\n## 自作PCでの選び方・注意点\n\nbnb 選択ポイント: (1)Pro On-the-fly LLM量子化+QLoRA基盤先駆 + 4年Heritage、(2)Pro Tim Dettmers + Pro University of Washington + Pro NeurIPS 2022/2023採択、(3)Pro 8bit/4bit NF4/FP4 + Pro huggingface transformers/PEFT統合 + Pro LLM.int8() + Pro NF4(NormalFloat4) + Pro 4bit FP4、(4)Pro Double Quantization + Pro Paged Optimizers + Pro QLoRA(4bit fine-tuning)基盤、(5)Pro load_in_8bit/load_in_4bit引数 + Pro BitsAndBytesConfig + Pro Mixed Precision推論 + Pro CPU offload + Pro CUDA/ROCm/Apple Silicon対応 + Pro Fine-tuner/QLoRA User/transformers User/Researcher採用 真価発揮。\n\n## 関連用語との違い\n\n: MIT-Han-Lab + Pro Activation-aware Weight量子化先駆 + Pro 4bit GPU特化 + Pro AutoAWQ + 累計3年Heritage。bnb(2022-08 LLM.int8 / 2023-05 NF4 + Tim Dettmers + Pro On-the-fly LLM量子化+QLoRA基盤先駆 + Pro NF4 + Pro Double Quantization + 累計4年Heritage)競合 + 1ヶ月後継(NF4対比) + Pro MIT-Han-Lab → Pro Tim Dettmers + Pro PTQ → Pro On-the-fly + Pro Salient Channels → Pro NF4 + Pro AutoAWQ → Pro QLoRA基盤 + 3年 vs 4年Heritage。\n\n: IST Austria + Pro Layer-wise GPU量子化先駆 + Pro Hessian Approximation + Pro 3-4bit + Pro AutoGPTQ + 累計4年Heritage(同等)。bnb(2022-08 LLM.int8 / 2023-05 NF4 + Tim Dettmers + Pro On-the-fly LLM量子化+QLoRA基盤先駆 + Pro NF4 + Pro QLoRA基盤 + 累計4年Heritage)競合 + 2ヶ月先行(LLM.int8対比) + Pro IST Austria → Pro Tim Dettmers + Pro PTQ → Pro On-the-fly + Pro Hessian → Pro NF4 + Pro AutoGPTQ → Pro QLoRA基盤 + 同4年Heritage。\n\n## よくある質問(FAQ)\n\n\nA: 2022-08 LLM.int8()公開 + 2023-05 NF4/QLoRA論文公開Pro Famous Story類無し + Pro 業界Pro Mainstream On-the-fly LLM量子化+QLoRA基盤先駆 + 累計2022-2026年4年Pro Mainstream LLM Fine-tuning業界Top独占Heritage Pro Reference。\n\n\nA: Pro 8bit/4bit NF4/FP4Pro Famous類無し(Pro On-the-fly LLM量子化+QLoRA fine-tuning基盤業界先駆) + Pro huggingface transformers/PEFT統合 + Pro LLM.int8()(8bit) + Pro 4bit NF4(NormalFloat4) + Pro 4bit FP4 + Pro Double Quantization + Pro Paged Optimizers + Pro QLoRA(4bit fine-tuning)基盤 + Pro load_in_8bit/load_in_4bit引数 + Pro BitsAndBytesConfig + Pro Mixed Precision推論 + Pro CPU offload + Pro CUDA/ROCm/Apple Silicon対応 Heritage Pro Reference。\n\n\nA: Pro 採用: Pro Fine-tuner/QLoRA User/transformers User/Researcher + Pro bnb系譜(LLM.int8 2022-08/NF4/QLoRA 2023-05/Multi-backend 2024/bnb v1.0 2025予定継承) + Pro Multi-Generation Heritage Pro Reference。\n\n## まとめ\n\n- 2022-08 LLM.int8() + 2023-05 NF4/QLoRA論文 + NeurIPS 2022/2023採択\n- Tim Dettmers主導 + University of Washington\n- 8bit/4bit NF4/FP4 + Double Quantization + Paged Optimizers\n- QLoRA(4bit fine-tuning)基盤 + huggingface transformers/PEFT統合\n- CUDA/ROCm/Apple Silicon対応 + 4年Heritage