LoRA継続学習（ローラケイゾクガクシュウ）

LoRA継続学習とは

LoRA継続学習（LoRA Continual Learning）は、Low-Rank Adaptation（LoRA）技術を継続学習に応用した手法です。新しいタスクやドメインを学習するたびに、ベースモデルに軽量なLoRAアダプタモジュールを追加することで、元のパラメータを変更せずに新知識を獲得できます。

LoRAの基本原理

LoRAは、Transformer層の重み行列の変化量を低ランク行列で近似します：

W' = W + ΔW = W + A × B

• W: 元の重み（凍結）
• A: ランクr下降行列
• B: ランクr上昇行列
• r: 低ランク設定（通常4〜64）

パラメータ数を大幅削減。GPT-3サイズ（175B）では99.97%削減も可能。

LoRA継続学習のアーキテクチャ

1. SequentialLoRA（直列追加型）

各タスクでLoRAアダプタを順次追加し、学習完了後に凍結する最もシンプルな手法：

Task 1 → LoRA_1 (frozen)
Task 2 → LoRA_2 (frozen)
  ↓
Task N → LoRA_N (active)

長所: 実装が簡単、完全な知識保護 短所: タスク数増加でパラメータ数が線形増加

2. LoRA Mixture（アダプタ混合型）

複数の凍結LoRAアダプタを動的に合成して推論する：

output = base_model(x) + α₁*LoRA₁(x) + α₂*LoRA₂(x) + ... + αₙ*LoRAₙ(x)
# αは入力xに応じてルーターが動的に決定

長所: 複数タスクを同時サポート、タスク間の知識転移が可能 短所: ルーター学習が追加的に必要

3. O-LoRA（直交LoRA）

LoRAアダプタが互いに直交する制約を課し、タスク間の干渉を数学的に排除：

• 各LoRAのアップデート空間を直交化することで干渉ゼロを保証
• ICLR 2024で提案された理論的に厳密な手法

4. InfLoRA

Inference時に全アダプタを自動選択・合成するMoE的アプローチ：

• タスクラベル不要で自動ルーティング
• Zero-shot継続学習を実現

ベースモデル凍結の重要性

LoRA継続学習の最大の利点はベースモデルの完全凍結です。これにより：

1. 壊滅的忘却の構造的防止: 過去の知識を格納するベースパラメータが変更不可
2. 計算コスト削減: 学習するパラメータがLoRAアダプタのみ（全体の0.1%〜1%）
3. リバートが容易: アダプタのみ削除すれば元のモデルに戻る
4. 並列学習: 複数タスクのLoRAを同時並行で学習可能

2025年の実装事例

Llama系モデルでの継続学習

# HuggingFace PEFT + 継続学習の概念コード
from peft import LoraConfig, get_peft_model

# タスク1（医療）のLoRA
medical_lora_config = LoraConfig(
    r=16, lora_alpha=32,
    target_modules=["q_proj", "v_proj"],
    task_type="CAUSAL_LM"
)
model_task1 = get_peft_model(base_model, medical_lora_config)
# 学習後に凍結
for param in model_task1.parameters():
    param.requires_grad = False

# タスク2（法律）のLoRA追加（ベースは既に凍結済）
legal_lora_config = LoraConfig(r=16, ...)
model_task2 = get_peft_model(model_task1, legal_lora_config)

LoRA-Hub（ゼロショットアダプタ合成）

Hubに公開された既存LoRAアダプタを線形結合してゼロショット継続学習：

• タスク例を数件だけ用意し最適合成係数を探索
• 新規学習なしで新ドメイン対応

LoRA継続学習の評価

まとめ

LoRA継続学習は、パラメータ効率・忘却防止・実装容易性のバランスが優れており、2025年時点でLLMの実用的継続学習で最も広く採用されるアプローチです。O-LoRAやInfLoRAのような理論的改良も進み、企業のマルチドメインLLM展開の標準手法としての地位を確立しつつあります。