QLoRA（キューローラ）
QLoRA（Quantized Low-Rank Adaptation）とは、4ビット量子化されたベースモデル上でLoRAアダプタを学習する効率的なファインチューニング手法である。Washington大学のDettmersらが2023年に発表し、48GBのGPU 1枚で65Bパラメータモデルのファインチューニングを可能にした。
QLoRA（Quantized Low-Rank Adaptation）は、大規模言語モデルのファインチューニングに必要なGPUメモリを大幅に削減する画期的な手法である。従来のフルファインチューニングでは70BモデルにA100 80GB×8枚（約$200,000相当）が必要だったが、QLoRAを使えばRTX 4090 24GB 1枚（約30万円）で同等の品質を達成できる。
QLoRAの動作原理
QLoRAは3つの技術革新を組み合わせている。
- NF4量子化（4-bit NormalFloat）: 正規分布に最適化された4ビット量子化フォーマット。従来のINT4やFP4よりも情報理論的に効率的で、量子化誤差が最小化される
- 二重量子化（Double Quantization）: 量子化パラメータ（スケールファクター）自体も8ビットに量子化し、追加メモリを平均0.37ビット/パラメータに削減
- ページドオプティマイザ: GPUメモリが不足した場合にオプティマイザの状態をCPUメモリにスワップし、OOM（Out of Memory）エラーを回避
ベースモデルの重みはNF4で凍結され、推論時のみFP16にデクォンタイズされる。学習可能なパラメータはLoRAアダプタ（低ランク行列A, B）のみで、全パラメータの0.1-1%程度である。
LoRAとの比較
| 項目 | フルFT | LoRA | QLoRA |
|---|---|---|---|
| 学習パラメータ | 100% | 0.1-1% | 0.1-1% |
| ベースモデル精度 | FP16/BF16 | FP16/BF16 | NF4 (4bit) |
| 7Bモデル VRAM | 56GB+ | 16-24GB | 6-10GB |
| 70Bモデル VRAM | 560GB+ | 160-240GB | 24-48GB |
| 性能（vs フルFT） | 100% | 97-99% | 95-97% |
| 学習速度 | 基準 | 1.5-2x高速 | 1.2-1.5x高速 |
実装手順（HuggingFace Transformers + PEFT）
QLoRAのファインチューニングは、HuggingFaceのPEFTライブラリとBitsAndBytesを組み合わせて実装する。主要なハイパーパラメータは以下の通り。
- LoRA rank (r): 8-64が一般的。大きいほど表現力が増すがVRAM消費も増加。r=16が汎用的
- LoRA alpha: 通常rankの2倍（alpha=32 for r=16）。学習率のスケーリングファクター
- ターゲットモジュール: q_proj, k_proj, v_proj, o_proj（Attention層）、gate_proj, up_proj, down_proj（MLP層）
- 学習率: 2e-4〜1e-3（AdamW / Paged AdamW 8bit）
- バッチサイズ: gradient_accumulation_stepsで実効バッチサイズを調整
- エポック数: 1-3エポック（大規模データの場合は1エポックで十分）
GPU別のQLoRA実行可能モデルサイズ
| GPU | VRAM | 最大モデルサイズ | 実効バッチサイズ | 備考 |
|---|---|---|---|---|
| RTX 3060 | 12GB | 7B | 1-2 | Flash Attention推奨 |
| RTX 4070 Ti | 12GB | 13B | 1 | gradient checkpointing必須 |
| RTX 4090 | 24GB | 70B | 1-2 | r=16で安定 |
| RTX 5090 | 32GB | 70B | 2-4 | r=64まで対応 |
| A100 40GB | 40GB | 70B | 4-8 | 本番ファインチューニング推奨 |
| A100 80GB | 80GB | 120B+ | 8-16 | Mixtral 8x22B対応 |
QLoRA 2.0 / GaLore / DoRA との関係
2024-2025年にかけて、QLoRAの発展形や代替手法が複数登場している。
- QLoRA 2.0（QLORA+）: 量子化誤差を補正するError Feedback機構を追加。精度がフルFTの98%以上に向上
- GaLore（Gradient Low-Rank Projection）: 勾配自体を低ランク射影して圧縮。LoRAアダプタ不要でフルパラメータ更新に近い効果
- DoRA（Weight-Decomposed Low-Rank Adaptation）: 重みを方向と大きさに分解し、LoRAの表現力を向上。QLoRAとの併用も可能
- LoftQ: 量子化誤差を考慮してLoRAの初期化を最適化。QLoRAの精度を0.5-1%改善
Unsloth / Axolotl / TRL による高速化
2026年現在、QLoRAの実行には以下のフレームワークが広く使われている。
- Unsloth: TritonカーネルでQLoRAを2-5倍高速化。メモリ使用量も30-50%削減。RTX 4090での70B QLoRAが実用的
- Axolotl: 設定ファイルベースのファインチューニングフレームワーク。マルチGPU・DeepSpeed統合
- TRL（Transformer Reinforcement Learning）: HuggingFace公式。SFT（教師ありFT）・DPO・PPO対応
よくある質問（FAQ）
Q1: QLoRAでファインチューニングした結果はフルファインチューニングと同等ですか？ A: ベンチマーク上ではフルFTの95-97%の性能を維持する。特にドメイン特化タスク（医療・法律・コード生成）ではQLoRAで十分な品質が得られることが多い。Guanaco-65BはQLoRAでファインチューニングされ、ChatGPTの99.3%のチャット性能を達成した。
Q2: QLoRAのファインチューニングにはどのくらい時間がかかりますか？ A: 7Bモデル・5万サンプルの場合、RTX 4090で約2-4時間。70Bモデルでは同条件で12-24時間。Unslothを使うと30-50%短縮される。
Q3: QLoRAアダプタのマージ後に再量子化は必要ですか？ A: LoRAアダプタをベースモデルにマージするとFP16の完全なモデルが得られる。推論用にさらにGGUFやAWQで量子化することが一般的。マージ→GGUF変換のパイプラインはllama.cppのconvertスクリプトで自動化できる。
まとめ
- QLoRAはNF4量子化+LoRAで、70Bモデルを24GB GPUでファインチューニング可能にする
- フルFTの95-97%の性能を維持しつつ、メモリ使用量を75-90%削減
- Unslothとの併用でさらに2-5倍の高速化が可能
- 2026年の標準的なLLMファインチューニング手法として広く採用されている