破壊的忘却（Catastrophic Forgetting）（ハカイテキボウキャク）
ニューラルネットワークが新しいタスクやデータで学習した際に、以前に学習した知識やタスク性能が急激かつ大幅に劣化する現象。1989年にMcCloskey & Cohenが報告して以来、継続学習の最大の障壁とされ、LLM時代でも解決すべき中心課題である。
破壊的忘却（Catastrophic Forgetting）とは
破壊的忘却は、ニューラルネットワークが新しいタスクのデータで学習（重みを更新）すると、以前に学んだタスクの性能が壊滅的に低下する現象である。McCloskey & Cohen（1989）が初めてこの問題を体系的に報告し、以降30年以上にわたって深層学習の根本的課題として研究されてきた。
LLM においてもこの問題は深刻である。例えば、GPT-3級のモデルを医療テキストで追加ファインチューニングすると、一般的な質問応答やコード生成の能力が著しく低下することが多い。これは新しいドメインの知識が既存の汎用能力を「上書き」してしまうためである。
なぜ破壊的忘却が起きるのか
破壊的忘却のメカニズムは以下のように理解できる。
重み共有の干渉
ニューラルネットワークでは、すべてのタスクが同じパラメータ（重み）を共有している。タスクAで最適化された重みがタスクBの学習で上書きされると、タスクAにとっての最適解から大きく逸脱してしまう。
損失ランドスケープの移動
タスクAの損失が最小となる領域（最適解の盆地）とタスクBの最適解の盆地が異なる位置にある場合、タスクBへの最適化はパラメータをタスクAの盆地から引き離してしまう。
表現の圧縮
新タスクの学習で中間層の表現が新タスクに特化し、旧タスクに必要だった特徴が圧縮・消失する。特にモデルの容量（パラメータ数）に対してタスクの多様性が大きい場合に顕著。
忘却の定量的測定
| 測定指標 | 定義 | 計算式 | 解釈 |
|---|---|---|---|
| Backward Transfer（BWT） | 新タスク学習後の旧タスク性能変化 | BWT = 1/(T-1) Σ(R_T,i - R_i,i) | 負値が大きいほど忘却が深刻 |
| Forward Transfer（FWT） | 過去の学習が未学習タスクに与える影響 | FWT = 1/(T-1) Σ(R_i,i - b_i) | 正値は正の転移 |
| Average Accuracy | 全タスクの平均精度 | AA = 1/T Σ R_T,i | 総合性能の指標 |
| Forgetting Measure | 各タスクの最高性能と最終性能の差 | FM = 1/(T-1) Σ max(R_j,i - R_T,i) | タスク別の忘却量 |
ここで R_i,j はタスクjを学習した後のタスクiの性能、b_iはランダム初期化モデルのタスクi性能を表す。
LLMにおける忘却の具体例
| シナリオ | 学習前性能 | 学習後性能 | 低下率 |
|---|---|---|---|
| 汎用LLM → 医療FT | MMLU 70% | MMLU 45% | -35.7% |
| 英語LLM → 日本語FT | HellaSwag(英) 82% | HellaSwag(英) 61% | -25.6% |
| Chat LLM → コードFT | MT-Bench 7.8 | MT-Bench 5.2 | -33.3% |
| 安全LLM → 有用性FT | Safety Score 95% | Safety Score 72% | -24.2% |
特に安全性の忘却は「安全性アラインメントの脆弱性」として知られ、わずか数百例の有害データで安全ガードが解除される研究結果（Qi et al., 2024）が報告されている。
忘却を軽減する主要手法
正則化手法
- EWC（Elastic Weight Consolidation）: 重要パラメータの変動をFisher情報行列で抑制。忘却を40-60%軽減
- SI（Synaptic Intelligence）: オンラインで重要度を推定。EWCより計算効率が高い
- L2正則化: 単純な重み減衰。効果は限定的だが実装が容易
データ管理手法
- Experience Replay: 旧データをバッファに保存し混合学習。最も直感的で効果的
- データ混合比調整: 新:旧 = 1:3〜1:5 の比率で混合すると忘却が大幅に軽減
- カリキュラム学習: 易しいタスクから難しいタスクの順に学習し、急激な分布変化を回避
アーキテクチャ手法
- LoRAアダプタ: タスク別アダプタで干渉を防止。ベースモデルは凍結
- MoEルーティング: 入力に応じて異なるエキスパートをアクティベート
- Progressive Expansion: 新タスクごとにモデルを拡張
人間の脳との比較
人間の脳は破壊的忘却をほぼ起こさない。これは以下のメカニズムによると考えられている。
- 海馬-新皮質の二重システム: 新しい記憶は海馬に短期保存され、睡眠中に新皮質に統合される（相補学習理論）
- シナプスの選択的可塑性: 重要なシナプスは安定し、不要なシナプスのみが再配線される
- スパースな活性化: 脳の神経回路は入力に応じて異なるサブセットが活性化し、干渉を回避
Experience Replay は海馬のリプレイ機構に、EWC はシナプスの選択的可塑性に着想を得た手法である。
よくある質問（FAQ）
Q1: モデルサイズが大きければ破壊的忘却は起きにくいですか？ A: モデルが大きいほどパラメータの冗長性が増え、忘却は緩和される。Ramasesh et al.（2022）の研究では、パラメータ数が10倍になると忘却率が約30%減少。しかし、完全には解消されないため、大規模モデルでも対策は必要。
Q2: 学習率を下げれば忘却を防げますか？ A: 学習率を下げると忘却は軽減されるが、新タスクの学習効率も低下する（stability-plasticity dilemma）。実用上は学習率の 1/10-1/50 程度への減衰が妥当だが、それだけでは不十分で、EWCやリプレイとの併用が推奨される。
Q3: LoRAを使えば破壊的忘却は完全に解決されますか？ A: LoRA はベースモデルの重みを凍結するため、ベースモデルの知識は保護される。ただし、LoRA パラメータ自体を別のタスクで上書きすると、そのアダプタ内での忘却は発生する。タスクごとに別の LoRA アダプタを用意する構成なら忘却はほぼゼロ。
まとめ
- 破壊的忘却は新タスク学習で旧知識が壊滅的に低下する現象
- 原因は重み共有の干渉・損失ランドスケープの移動・表現の圧縮
- LLM でも 25-35% の性能低下が典型的に発生
- 正則化（EWC）・データ管理（Replay）・アーキテクチャ（LoRA）の3カテゴリの対策が存在
- 安全性アラインメントの忘却は特に危険で、わずかなデータで安全ガードが解除されうる