WMDPベンチマーク（ダブリュエムディーピーベンチマーク）
大量破壊兵器関連の危険知識をLLMから除去する能力を評価するベンチマーク。生物・化学・サイバー兵器分野の危険知識除去を測定する。
WMDPベンチマークとは
WMDP（Weapons of Mass Destruction Proxy）は、Center for AI Safety（CAIS）が2024年に発表したLLM機械的忘却評価ベンチマークです。大規模言語モデルが大量破壊兵器（生物・化学・放射線・サイバー兵器）に関する危険知識を保有しているかを測定し、アンラーニング手法の有効性を評価します。
データセット構成
WMDPは3,668問の多肢選択問題（4択）で構成されています:
- 生物分野（Biosecurity）: 1,520問。病原体の強化・感染拡大・バイオハザード操作に関する専門的知識を測定
- 化学分野（Chemical Weapons）: 1,703問。化学合成・毒性物質・前駆体化学物質に関する知識
- サイバー分野（Cybersecurity Hazards）: 445問。マルウェア開発・脆弱性悪用・サイバー攻撃手法
各問題は生物学者・化学者・サイバーセキュリティ研究者の専門家チームが作成・検証しています。
評価指標
WMDP-forget Score（低いほど良い）: アンラーニング後にモデルがWMDP問題に正答する割合。ランダム推測（25%）に近いほど危険知識が除去されている理想的な状態を示します。
MMLU Retain Score（高いほど良い）: 一般知識ベンチマーク（MMLU）の保持率。アンラーニング後も高い値を維持する必要があります。
理想的なアンラーニング手法はWMDP Scoreを下げながら、MMLU Scoreを維持します。この2指標のトレードオフがアンラーニング手法の評価核心です。
CUT（Circuit Breaking）手法
WMDPと同時に発表されたCUT（Circuit Unlearning Technique）は、危険知識に関連するニューラル回路を「サーキットブレーカー」的に遮断する手法です。単純な勾配上昇法より性能劣化が少なく、WMDPでの標準的ベースラインとして使用されています。
Representation Engineering（Zou et al., 2023）の知見を活用し、有害な情報処理に関与する表現を特定・遮断します。
実用的意義
WMDPはLLaMA 3・Mistral・Gemmaなど主要オープンソースモデルへの適用例が多数報告されており、AI安全性コミュニティでの標準的評価指標として定着しています。規制当局・研究機関でも参照されており、AIガバナンスにおけるアンラーニング能力評価の基準として機能しています。