MEND（知識編集）（メンド チシキヘンシュウ）

MEND（知識編集）

概要

MEND（Model Editor Networks using Gradient Decomposition）は、メタ学習を活用してLLMの事実知識を高速編集するフレームワークだ。Mitchell et al.（2022, ICLR）が発表し、知識編集を「学習可能なプロセス」として定式化した先駆的研究の一つ。

メタ学習ベースの知識編集

従来手法（ROME/MEMIT）が個別の事実ごとに最適化計算を実行するのに対し、MENDは編集の仕方自体を事前学習したハイパーネットワーク（編集ネットワーク）を使う:

事前学習フェーズ:
多数の事実編集タスク → MENDハイパーネットワークを訓練

推論フェーズ（編集実行）:
「エッフェル塔はローマにある」の勾配
      ↓
MENDハイパーネットワーク（低ランク分解 + 変換）
      ↓
ΔW = 重み更新量（数ms以内）

勾配分解（Gradient Decomposition）

MENDの核心は、fine-tuning時の勾配 ∇W を低ランク分解して効率化すること:

1. 勾配 ∇W をu × v^T（外積分解）に近似
2. 軽量MLP f_θが(u, v)を変換して実際の重み更新(û, v̂)を予測
3. ΔW = û × v̂^Tとして適用

class MENDEditor(nn.Module):
    def __init__(self, d_model, rank=4):
        self.mlp_u = MLP(d_model, rank)  # u変換
        self.mlp_v = MLP(d_model, rank)  # v変換
    
    def forward(self, grad_u, grad_v):
        u_hat = self.mlp_u(grad_u)  # 低ランク変換
        v_hat = self.mlp_v(grad_v)
        return u_hat, v_hat  # → ΔW = u_hat × v_hat^T

評価ベンチマーク

zsRE（Zero-Shot Relation Extraction）

FEVER（事実検証）

BERTモデルでの誤情報訂正タスクでも高精度を達成。

ROPEおよびFEWLOCKとの組み合わせ

MENDはモデルアーキテクチャ非依存で、以下に適用実績あり:

• GPT-2（124M〜1.5B）
• BERT / RoBERTa
• T5

大規模LLM（70B+）への拡張は計算コスト（ハイパーネットワーク自体の学習）が課題。

ROME/MEMITとの棲み分け

• MEND: メタ学習済みエディタが必要。同モデル・同ドメインでの繰り返し編集に最適
• ROME: 事前学習不要、任意の事実を1件即座に編集
• MEMIT: 事前学習不要、大規模一括編集に特化