LoftQ（LoRA量子化初期化）（ロフトキュー）

LoftQ（LoRA量子化初期化）

LoftQ（LoRA-Fine-Tuning-aware Quantization）は2023年にYixiao Liu・Tianhao Chen・Beidi Chen・Shuohang Wang等が発表した、QLoRAの量子化初期化を改善する手法です。

QLoRAが抱える問題

QLoRAでは事前学習済みモデルをNF4（4ビット）に量子化し、その上にLoRAアダプターをゼロで初期化します。しかしこの量子化による重み行列の近似誤差は、特に2ビット・3ビット等の積極的な量子化で大きくなります。

LoRAアダプター（A行列はランダム初期化、B行列はゼロ初期化）は学習開始時に量子化誤差を補正できず、収束に多くのステップを要します。特に低ビット幅量子化（2ビット）では収束失敗のリスクがあります。

LoftQの解決アプローチ

LoftQは「交互最適化（Alternating Optimization）」で初期化を改善します:

Step 1: 元の重みW₀を量子化してQ（量子化重み）を得る Step 2: 残差 W₀ - Q をSVD分解し、上位r特異値成分からA・Bを初期化 Step 3: 更新されたA・Bを用いてQを再最適化 Step 4: 収束まで2-3を繰り返す

数式: W₀ ≈ Q + A B を最小化する交互最適化

性能改善効果

2ビット量子化（Llama-2-7B, WikiText-2 PPL）:

• QLoRA標準初期化: PPL = 11.8
• LoftQ初期化: PPL = 8.9（約25%改善）

4ビット量子化（Llama-2-7B, GLUE）:

• QLoRA標準: 平均85.2
• LoftQ: 平均86.1（+0.9）

低ビット量子化ほど改善効果が顕著です。

実装方法

PEFTライブラリではLoftQConfigとして実装:

from peft import LoftQConfig, LoraConfig, get_peft_model

loftq_config = LoftQConfig(loftq_bits=4, loftq_iter=1)
lora_config = LoraConfig(
    init_lora_weights="loftq",
    loftq_config=loftq_config,
    r=16,
    target_modules=["q_proj", "v_proj"]
)
model = get_peft_model(base_model, lora_config)

使い所

• 2〜3ビット積極的量子化でQLoRAがうまく収束しない場合
• 少ないファインチューニングステップで高精度が必要な場合
• モバイル・エッジデバイス向けの超小型量子化モデルのチューニング

初期化時間

交互最適化の繰り返し回数（loftq_iter）が増えるほど精度は上がりますが、初期化時間も増加します。実用的には1〜5イテレーションで十分とされています。