AdaLoRA（適応的低ランクアダプテーション）（アダローラ テキオウテキテイランクアダプテーション）

AdaLoRA（適応的低ランクアダプテーション）

概要

AdaLoRA（Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning）は、LoRAのランクrを層ごとに自動調整することで、限られたパラメータ予算を最も重要な層に集中させるPEFT手法だ。Zhang et al.（2022）が発表し、同じパラメータ数でLoRAより高い性能を達成した。

LoRAの問題点：均一なランク

LoRAは全ての対象層に同じランクr（例: r=16）を設定する:

LoRA:
  Layer 1（重要度高）: ΔW = BA, rank=16
  Layer 2（重要度低）: ΔW = BA, rank=16  ← 無駄
  Layer 3（重要度高）: ΔW = BA, rank=16

実際には各層の重要度は大きく異なる。均一なランクは非効率。

AdaLoRAのアプローチ：SVD分解 + 特異値刈り込み

重み更新ΔWをSVD形式で表現:

ΔW = P Λ Q^T

P ∈ R^{d×r}  （左特異ベクトル）
Λ = diag(λ₁, λ₂, ..., λᵣ)  （特異値、学習可能）
Q ∈ R^{k×r}  （右特異ベクトル）

重要度の低い特異値λᵢを学習中に徐々に削除することで重要な層に高ランクを自動割り当て:

学習後の割り当て例（総パラメータ予算一定）:
  Layer 1（重要）: 実効ランク = 32
  Layer 2（非重要）: 実効ランク = 4
  Layer 3（重要）: 実効ランク = 28

性能比較（NLU/NLGタスク）

GLUE（DeBERTa-XXL、同パラメータ予算）

同パラメータ数でLoRAを一貫して上回る。

LoRAとAdaLoRAの使い分け