壊滅的忘却（LLM）（カイメツテキボウキャク）

事前学習済み重み W₀
↓ ファインチューニング（新タスクT₂）
最適化後の重み W₁ → T₂には最適だがT₁の性能が大幅劣化

# 問題のある標準的なファインチューニング
from transformers import AutoModelForCausalLM, Trainer, TrainingArguments

model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3-8B")

# 医療ドメインデータでファインチューニング
training_args = TrainingArguments(
    output_dir="./medical-llama",
    num_train_epochs=3,
    learning_rate=2e-5,
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=medical_dataset,  # 医療テキストのみ
)
trainer.train()

# 結果: 医療QAは向上、一般常識・コーディング能力が低下

from peft import LoraConfig, get_peft_model

config = LoraConfig(
    r=16,
    lora_alpha=32,
    target_modules=["q_proj", "v_proj"],
    lora_dropout=0.05,
)
model = get_peft_model(base_model, config)
# ベースモデルの重みは凍結し、LoRAアダプタのみ更新
# 壊滅的忘却を大幅に軽減

# BWT（Backward Transfer）: 新タスク学習後の旧タスク性能変化
BWT = (1/(T-1)) * Σ(R[T][k] - R[k][k])
# R[i][j]: タスクiまで学習後のタスクjの性能
# 負の値が大きいほど壊滅的忘却が深刻

# FWT（Forward Transfer）: 過去の学習が未来タスクに与える恩恵
FWT = (1/(T-1)) * Σ(R[i-1][i] - R_base[i])

# Stability: 旧タスク性能の保持率
Stability = 1 + BWT  # 1.0に近いほど忘却なし

# 推奨: PEFT + リプレイの組み合わせ
from peft import LoraConfig

# ステップ1: LoRAで重要重みを保護
lora_config = LoraConfig(r=64, target_modules=["q_proj", "v_proj", "k_proj", "o_proj"])

# ステップ2: ドメインデータ + 汎用データの混合学習
dataset = DatasetMixer(
    domain_data=medical_corpus,     # 70%
    general_data=general_corpus,    # 30% (リプレイ効果)
    domain_weight=0.7,
)

# ステップ3: 定期的な評価
evaluator = ContinualLearningEvaluator(
    tasks=[medical_qa, general_qa, coding_bench],
    early_stop_on_forgetting=True,
    forgetting_threshold=0.1,  # 10%以上の劣化で停止
)