LoftQ（ロフトキュー）
LoRA ファインチューニングを意識した量子化手法。ベースモデルの量子化と LoRA 初期化を交互に繰り返すことで量子化誤差を最小化する。
LoftQ とは
LoftQ（LoRA-Fine-Tuning-aware Quantization）は Yixiao Li et al. が 2023年に発表した手法で、量子化と LoRA の組み合わせを最大限に活かすための初期化アルゴリズムを提供する。QLoRA が確立した「量子化ベースモデル + LoRA」という構成をより精度よく行うことを目的としている。
背景：QLoRA の初期化問題
QLoRA（Dettmers et al. 2023）は大規模モデルを 4bit NF4 量子化した後に LoRA を適用することでメモリを大幅に削減したが、LoRA 行列の初期化に A=ランダム・B=ゼロという単純な方針を採用していた。この初期化では量子化によって生じた重み誤差を LoRA が補正しようとするが、出発点が最適でないために収束速度・最終精度に損失が生じる。
LoftQ のアルゴリズム
LoftQ は以下の交互最適化を行う（目標: || W - Q(W) - A@B ||_F の最小化）：
- 現在の A, B に対して W - A@B を量子化 → Q を更新
- 現在の Q に対して W - Q を SVD 分解 → A, B を更新
- T 回繰り返し（通常 T=5 程度）
精度比較（LLaMA-2 7B, 4bit NF4, r=64）
MNLI で QLoRA 比 +1.3pt、SQuAD v2 (F1) で +1.4pt、WMT16 En-De (BLEU) で +0.8 の改善を報告。
実装
Hugging Face PEFT ライブラリの LoftQConfig + LoraConfig で実装可能。init_lora_weights="loftq" を指定するだけで交互最適化が走る。メモリ・推論速度は QLoRA と同等で、初期化前処理のみ数分追加コストが発生する。
まとめ
LoftQ は QLoRA の精度限界を初期化の工夫で改善した手法。4bit 量子化環境での LoRA ファインチューニングにおいて、追加コストなしに一貫した精度向上が期待できる。