AI・機械学習
上級
WISE(知識編集)(ワイズ チシキヘンシュウ)
知識編集の永続性と選択性を改善した手法。副コピー(サイドMEMORY)に編集内容を保持し、関連クエリには副コピーを参照・無関係クエリには元モデルを参照することで副作用を大幅に低減する。
0 回閲覧
0 いいね
2026/6/7 更新
関連タグ
知識編集
LLM
選択的編集
WISE
副作用低減
WISE(知識編集)
概要
WISE(Wise Knowledge Injection and Selective Editing)は、知識編集の永続性(Retention)と選択性(Specificity)を両立させた手法だ。Wang et al.(2024)が発表し、ROMEやMEMITが抱える副作用問題(無関係な事実への影響)を大幅に解決した。
アーキテクチャ:副コピー+ルーター
元モデル (Frozen)
↓
[ルーター] ← クエリ関連性判定
↓ ↓
副コピー 元モデル
(編集事実) (無関係クエリ)
副コピー(Side Memory)
各FF層に対して、編集専用の副FF層(Side Memory)を追加:
- 元のFF層重みをコピーして初期化
- 編集対象の事実のみを副コピーに書き込む
- 元のFF層は完全に凍結(Frozen)
ルーター(Router)
入力クエリが副コピーに格納された事実に関連するか否かを判断:
def wise_forward(x, side_memory, router, threshold=0.5):
relevance = router(x) # 関連性スコア [0, 1]
if relevance > threshold:
# 副コピー(編集事実)を参照
return side_memory.forward(x)
else:
# 元の凍結済みFF層を参照(副作用ゼロ)
return original_ff.forward(x)
ルーターは軽量なMLPで、編集事実の隠れ状態表現を正例・ランダムサンプルを負例として学習する。
評価結果
ZSREベンチマーク(LLaMA-2-7B)
| 手法 | 編集精度 | 副作用スコア | 汎化性 |
|---|---|---|---|
| FT | 81.2 | 32.1 | 58.4 |
| ROME | 94.6 | 79.3 | 61.2 |
| MEMIT | 98.1 | 74.9 | 64.7 |
| WISE | 97.8 | 91.6 | 72.3 |
副作用スコアが91.6(高いほど副作用が少ない)は他手法を大きく上回る。
RIPPLEBENCHへの対応
WISEはRIPPLEBENCH(長距離依存事実の連鎖編集評価)でも優れた性能を発揮:
- 「エッフェル塔の場所→パリ→フランス→ヨーロッパ」のような連鎖推論でも整合性を維持
- 副コピーのルーターが連鎖する関連クエリも正しくキャッチ
実用的なユースケース
- 医療AIのガイドライン更新: 新しい治療ガイドラインのみ書き換え、他の医療知識は無傷
- 法律AI: 改正法律の条文のみ更新、判例への影響なし
- 企業AIアシスタント: 組織変更・製品情報更新を副作用なしで適用