MEND（Model Editor Networks using Gradient Decomposition）とは、勾配分解に基づくハイパーネットワークで LLM の知識を高速編集する Meta-Learning 系手法である。事前学習済みの編集ネットワークが入力に応じた重み更新を 0.1秒で生成する。
MEND は 2022年に Eric Mitchell ら（Stanford）が ICLR 2022 で発表した Meta-Learning ベースの知識編集手法である。ROME が Causal Tracing で知識格納層を特定して直接書き換えるのに対し、MEND は 事前学習済みの小さなハイパーネットワーク（Editor Network） を用いて、入力の編集リクエストに応じた最適な重み更新を瞬時に生成する。
MEND のアプローチは以下の2段階で構成される:
勾配分解（Gradient Decomposition）の核心は、標準的なファインチューニング勾配を 低ランク因子に分解 し、Editor Network でこの因子を変換することで、局所性を保った重み更新を得る点にある。
| コンポーネント | 役割 | サイズ |
|---|---|---|
| Gradient Encoder | 入力勾配を低ランク因子に分解 | 20MB |
| U-Transform | 左特異ベクトルを編集目的に変換 | 15MB |
| V-Transform | 右特異ベクトルを編集目的に変換 |
| 15MB |
| Scaling Network | 特異値の適切なスケーリングを学習 | 5MB |
| 合計 | 約 55MB |
| 指標 | MEND | ROME | MEMIT | KE (De Cao 2021) |
|---|---|---|---|---|
| 編集速度 | 0.1秒 | 3-5秒 | 30秒(バッチ) | 0.5秒 |
| 事前学習 | 必要（数時間） | 不要 | 不要 | 必要（数日） |
| 編集成功率 | 94.2% | 99.1% | 99.5% | 89.7% |
| 局所性 | 0.872 | 0.953 | 0.961 | 0.834 |
| 汎化性 | 0.901 | 0.961 | 0.958 | 0.856 |
| 対象モデル規模 | 〜6B | 〜70B | 〜70B | 〜3B |
MEND はオープンソースで公開されており、以下の手順で利用できる:
# 概念的なワークフロー
editor = load_mend_editor("mend-gpt-j-6b.pt")
edited_model = editor.apply(base_model, edit_request={
"prompt": "The president of the US is",
"target": "Jane Smith"
})
ニュース速報に応じてモデルの知識を即座に更新。0.1秒の編集速度はオンラインサービスでのリアルタイム更新に適する。
特定の知識を差し替えた複数のモデルバリアントを高速に生成し、ユーザー応答の品質を比較テスト。
ユーザー固有の事実（名前、好み、履歴）をモデルに高速注入。セッション単位での一時的な知識カスタマイズ。
Q1: MEND の Editor Network は一度学習すれば任意の編集に使えますか？ A: 同一アーキテクチャのモデルに対してはそのまま使える。ただし、GPT-J 用の Editor を LLaMA に転用することはできず、モデルファミリーごとに再学習が必要。
Q2: MEND と ROME を組み合わせることはできますか？ A: 理論的には可能だが、実用的なメリットは少ない。高速性が必要なら MEND、精度が必要なら ROME と使い分ける方が一般的。
Q3: MEND は文章生成の品質に影響しますか？ A: 10件程度の編集では文章生成品質への影響はほぼゼロ。100件を超える連続編集では汎用的な文章生成能力が 3-5% 程度低下するケースが報告されている。