MEMIT（Mass-Editing Memory In a Transformer）とは、ROME を拡張し、数千〜数万件の事実知識を Transformer の複数層に同時に書き込む大規模知識編集手法である。2022年に MIT の Meng らが提案し、ROME の単一編集制約を克服した。
MEMIT は ROME の後継手法として 2022年に同じ MIT グループ（Kevin Meng ら）が発表した大規模知識編集技術である。ROME が 1回1事実の編集に限定されていたのに対し、MEMIT は 数千〜10,000件の事実を同時に複数層の MLP に分散して書き込む ことで、連続編集時の品質劣化を大幅に軽減した。
MEMIT の基本原理は ROME と同じ「MLP が key-value ストアとして動作する」仮説に基づくが、編集を 単一層ではなく複数層（通常 5-10層）に分散 させる点が異なる。各層への書き込み量を最小化する最適化問題を解くことで、大量編集時の重み変動を抑制する。
具体的には、GPT-J (6B) で layer 3-8 の MLP 第2層に分散書き込みを行い、10,000件の事実編集を 30秒で完了する。ROME で同数の編集を逐次実行すると品質劣化が著しい（パープレキシティ 50%+ 増加）のに対し、MEMIT では 5% 以内の劣化に抑えられる。
| 項目 | ROME | MEMIT |
|---|---|---|
| 編集対象層 | 単一層（1つの critical layer） | 複数層（5-10層に分散） |
| 編集数/回 | 1件 | 最大 10,000件 |
| 最適化手法 | 勾配降下（反復） | 閉形式解（正規方程式） |
| 重み更新 | W + u·v^T（ランク1） | W + Σ u_i·v_i^T（ランクN） |
| 10K編集後の劣化 | パープレキシティ +50% | パープレキシティ +5% |
| 計算時間（10K件） | 8-14時間（逐次） | 30秒（一括） |
| 同時編集数 | 編集成功率 | 局所性スコア | パープレキシティ変化 | 計算時間（A100） |
|---|---|---|---|---|
| 100件 | 99.8% | 0.968 | +0.5% | 2秒 |
| 1,000件 | 99.6% | 0.964 | +1.2% | 5秒 |
| 5,000件 | 99.5% | 0.961 | +3.1% | 15秒 |
| 10,000件 | 99.3% | 0.957 | +4.8% | 30秒 |
※ GPT-J (6B) / CounterFact ベンチマーク
月次で 1,000-5,000件の事実更新（人事異動、法改正、製品スペック変更等）を一括適用。ファインチューニングなら 1日以上かかる処理が 15秒で完了。
QA データセットで検出された誤回答パターン 2,000件を一括修正。医療・法律分野の LLM で特に有効。
英語・日本語・中国語での同一事実を同時に編集。言語間の知識一貫性を保つ。
ジェンダー・人種関連のバイアス的応答 500件を一括で中立化。
Q1: MEMIT は LoRA より効率的ですか？ A: 用途が異なる。MEMIT は「特定の事実 N件を正確に書き換える」タスクに特化し、LoRA は「タスク全体のスキルを向上させる」用途向け。10,000件の事実修正に限れば、MEMIT（30秒）は LoRA（数時間）より圧倒的に高速。
Q2: Llama 3 や Qwen 2.5 にも使えますか？ A: 原理的には Transformer ベースの任意のモデルに適用可能。コミュニティ実装で LLaMA 3 (8B/70B)、Mistral 7B、Qwen 2.5 での動作報告がある。ただし、モデルごとに critical layer の再特定（Causal Tracing）が必要。
Q3: 編集を元に戻せますか？ A: MEMIT は差分行列 Δ を保存しておけば W - Δ で理論的に復元可能。実用上は編集前のチェックポイントを保存しておくのが安全。