QLoRA（Quantized LoRA）（キューローラ）
LoRAと4bit量子化を組み合わせた超省メモリファインチューニング手法。65BパラメータのLLMを単一の48GB GPUでファインチューニング可能にした。NF4（Normal Float 4-bit）量子化、二重量子化、ページドオプティマイザの3つの技術革新を導入。ワシントン大学のDettmers et al.が2023年に発表。
QLoRAとは
QLoRA（Quantized Low-Rank Adaptation）は、LoRAと4bit量子化を組み合わせた超省メモリなファインチューニング手法である。ワシントン大学のTim Dettmers et al.が2023年に発表した。65Bパラメータの大規模LLMを単一の48GB GPU（A6000/A100）でファインチューニング可能にし、研究者や個人開発者のLLMカスタマイズへの参入障壁を大幅に引き下げた。
3つの技術革新
1. NF4（Normal Float 4-bit）量子化
QLoRAが導入した新しい4bitデータ型。ニューラルネットワークの重みが正規分布に従うという経験的知見に基づき、正規分布の分位点を量子化レベルとして使用する。従来のINT4/FP4に比べて情報理論的に最適な量子化を実現。
| 量子化形式 | ビット幅 | 情報損失 | 特徴 |
|---|---|---|---|
| FP16 | 16bit | なし（基準） | フルファインチューニング標準 |
| INT8 | 8bit | 微小 | bitsandbytes LLM.int8() |
| FP4 | 4bit | 中程度 | 均一な量子化レベル |
| NF4 | 4bit | 最小（4bit中） | 正規分布最適量子化 |
2. 二重量子化（Double Quantization）
量子化パラメータ（各ブロックの量子化定数）自体をさらに量子化する。これにより追加のメモリオーバーヘッドをパラメータあたり約0.37bitから約0.127bitに削減。モデル全体で約3GBのVRAM節約効果がある。
3. ページドオプティマイザ
NVIDIAの統合メモリ（Unified Memory）機能を活用し、勾配チェックポイント時のメモリスパイクをCPUメモリにオフロードする。これにより、通常はOOM（Out of Memory）となるバッチサイズでも学習を継続できる。
VRAM要件の比較
| 手法 | Llama 2 7B | Llama 2 13B | Llama 2 70B |
|---|---|---|---|
| フルファインチューニング（FP16） | 約60GB | 約120GB | 約600GB |
| LoRA（FP16ベース） | 約16GB | 約32GB | 約160GB |
| QLoRA（NF4） | 約6GB | 約12GB | 約48GB |
| QLoRA（NF4 + Gradient Checkpointing） | 約4GB | 約8GB | 約36GB |
Guanaco: QLoRAの実証モデル
QLoRA論文ではGuanacoという対話モデルを公開し、QLoRAの実用性を実証した:
| モデル | パラメータ数 | 学習時間 | GPU | ChatGPT比性能 |
|---|---|---|---|---|
| Guanaco 7B | 7B | 約4時間 | RTX 4090 (24GB) | 約85% |
| Guanaco 13B | 13B | 約8時間 | A100 (40GB) | 約90% |
| Guanaco 33B | 33B | 約18時間 | A100 (48GB) | 約92% |
| Guanaco 65B | 65B | 約41時間 | A100 (48GB) | 約94% |
Vicuna Benchmarkでの評価。ChatGPTを100%基準とした相対性能。
実装ツール
| ツール | QLoRA対応 | 特徴 |
|---|---|---|
| bitsandbytes | NF4量子化エンジン | QLoRAの基盤ライブラリ |
| Hugging Face PEFT | 統合API | prepare_model_for_kbit_training() |
| Unsloth | 2〜5倍高速化 | QLoRA + FlashAttention統合 |
| Axolotl | YAML設定 | QLoRAプリセット内蔵 |
| LLaMA-Factory | GUI対応 | ワンクリックQLoRA設定 |
LoRAとQLoRAの使い分け
| 条件 | 推奨手法 |
|---|---|
| VRAM 24GB以下（RTX 4090等） | QLoRA |
| VRAM 48GB以上（A100/H100） | LoRA（16bit精度を維持したい場合） |
| 7B〜13Bモデル | どちらも可能。速度重視ならLoRA |
| 70B以上の超大規模モデル | QLoRA一択（VRAMの制約） |
| 最高性能を追求 | LoRA（量子化による微小な精度劣化を回避） |
FAQ
Q1: QLoRAはフルファインチューニングに比べて性能が落ちる？
4bit量子化による微小な精度劣化はあるが、Guanaco論文ではChatGPTの94%の性能を達成。実用的なタスクでは性能差が問題になるケースは少ない。ただし数学推論や複雑なコード生成ではフルファインチューニングとの差が開く傾向がある。
Q2: 消費者向けGPU（RTX 4090等）でもQLoRAは使える？
RTX 4090（24GB VRAM）で7B〜13Bモデルのファインチューニングが可能。RTX 3090（24GB）でも動作するが学習速度は低下する。RTX 4070 Ti Super（16GB）では7Bモデルまで可能。
Q3: QLoRAで学習したモデルの推論時もNF4量子化のまま？
学習後にLoRAアダプタをベースモデルにマージし、任意の精度（FP16/INT8/GGUF等）に変換して推論することが一般的。NF4のまま推論することも可能だが、GGUFやAWQに変換した方が推論エンジン（vLLM/llama.cpp等）との互換性が高い。