選択的忘却（LLM）（センタクテキボウキャクエルエルエム）
LLMで有害・不要な知識のみを選択的に除去し、他の有用な知識と汎化性能を保持する機械的忘却の高度なアプローチ。
選択的忘却（Selective Forgetting）とは
LLMの選択的忘却は、モデルの汎化性能と有用な知識を維持しながら、特定の不要・有害な知識のみを精密に除去する機械的忘却の高度なアプローチです。単純な勾配上昇法では「忘却のコラテラルダメージ」として関連する正当な知識まで失われるため、より精密な手法が研究されています。
主要な手法
Task Vector Negation
Ilharcoら（2023）のTask Vector手法を応用したアプローチです。ファインチューニング前後の重みの差分（Task Vector）を計算し、除去したい能力のTask Vectorをマイナス方向に加算することで特定スキルのみを外科的に除去します。
θ_unlearned = θ_finetuned - α・τ_forget
τ_forgetは忘却対象のTask Vectorで、スケール係数αで除去強度を調整します。パラメータ全体への影響が局所化されるため、汎化性能の劣化が少ない特徴があります。
SCRUB（Selective Refusal Using Brownian Unlearning）
知識蒸留フレームワークを活用した手法です。忘却対象データでは元のモデル（教師）と異なる出力を生成するよう学習させ、保持データでは教師モデルと同じ出力を維持するよう訓練します。TOFUベンチマークで最良クラスの忘却精度・保持精度バランスを達成しています。
Representation-Based Selective Forgetting
最終層の表現空間（Representation Space）で忘却対象の概念クラスターを特定し、そのクラスターへの射影を排除するよう表現を変換する手法です。パラメータを直接変更せずに機能的な忘却を実現するため、モデルの重みへの影響が最小限です。
評価の難しさ
選択的忘却の評価は技術的に困難です。主な課題:
- 忘却の検証: 「本当に忘れたか」vs「隠蔽しているだけか」の区別が困難。Jailbreaking攻撃でアンラーニングが破られる事例が報告されています
- 副作用測定: 忘却対象と意味的に近い正当な知識への波及効果の定量化が必要
- Membership Inference Attack（MIA）: 訓練データに含まれていたかどうかを確率的に判定する攻撃手法で忘却の完全性を検証します
- 永続性: ファインチューニングによって忘却が上書きされないかの検証
2025年の研究動向
大規模モデル（70B以上）への適用、マルチモーダルモデルでの選択的忘却、Jailbreaking耐性の向上が注目されています。また、忘却の証明可能性（Certifiable Unlearning）として数学的保証を与える理論的アプローチも研究が進んでいます。