TOFUベンチマーク（トーフーベンチマーク）

TOFUベンチマークとは

TOFU（Task Of Forgetting Unwanted information）は、カーネギーメロン大学（CMU）の研究者が2024年に発表したLLM機械的忘却の評価ベンチマークです。実在人物のデータを使った忘却評価では倫理的・法的な問題が生じるため、合成データ（架空著者）を用いた厳密な評価フレームワークを提供しています。

データセット構成

TOFUは架空の著者200人のプロファイルと、各著者に関するQ&Aペア（合計3,800問）で構成されています。

各著者プロファイルには以下の情報が含まれます:

• 氏名・国籍・職業・出身校
• 代表作品名・受賞歴・出版年
• 個人的な背景・趣味・価値観

LLMはこれらの架空プロファイルを記憶するよう事前にファインチューニングされた後、忘却対象プロファイルを削除できるかが評価されます。

評価設計

Forget Set（忘却対象）: 全著者の10%（20人）。アンラーニング後にこれらの情報を回答できないことが目標です。

Retain Set（保持対象）: 残り90%（180人）。アンラーニング後も正確に回答できることが必要です。

評価メトリクス:

• Forget Quality: 忘却対象への回答精度の低下度（低いほど良い）
• Model Utility: 保持対象・一般知識（MMLU等）への影響度（高いほど良い）
• Probability Ratio: 忘却前後のトークン生成確率の比較
• ROUGE Score: 自由記述回答の類似度測定

主要手法の比較

TOFUを用いた研究では以下の手法が比較・評価されています:

1. Gradient Ascent: 実装が簡単だが過剰忘却リスクあり
2. Gradient Difference: バランスが良く、忘却と保持の同時最適化が可能
3. DPO Unlearning: 忘却対象には拒否応答、保持対象には正確応答を好む選好最適化
4. SCRUB: 知識蒸留ベースの手法で、TOFUでの総合スコアが最良クラス

意義と採用状況

TOFUはプライバシー保護シナリオ（GDPR対応・著者情報削除要求）を現実的に模擬しており、2024-2025年のアンラーニング研究論文でデファクトスタンダードとして多数採用されています。合成データ使用により倫理審査が容易で、再現性の高い比較実験が可能な点が研究者に評価されています。