AI安全性評価（エーアイアンゼンセイヒョウカ）

AI安全性評価とは

AI安全性評価（AI Safety Evaluation）は、LLMやAIシステムが意図しない有害な出力・危険な行動をしないかを定量的に測定する評価フレームワークの総称。単なる性能評価（MMLU等）とは異なり、「どれだけ賢いか」ではなく「どれだけ安全に使えるか」を測定する。

評価の主要次元

1. 有害コンテンツ（Harmfulness）

• 暴力・自傷行為・CSAM・テロ・違法活動支援の誘発率
• Attack Success Rate（ASR）で定量化
• HarmBench（33種攻撃手法×400有害行動）が2024年の標準

2. バイアス（Bias）

• 人種・性別・宗教等に関する差別的・偏向的出力
• BBQ（Bias Benchmark for QA）・Stereoset・WinoBiasで評価

3. 事実正確性・ハルシネーション

• TruthfulQAで819問の事実質問に対する正答率
• 「人間が信じがちな誤情報」を生成しやすいかを測定

4. 堅牢性・脱獄耐性（Robustness）

• 敵対的プロンプト・プロンプトインジェクション耐性
• JailbreakBench・AdvBenchで標準化測定

5. 信頼性・一貫性

• 同じ質問への回答の一貫性、自己矛盾率
• Sycophancy（ユーザー意見への過剰同調）評価

主要ベンチマーク

• MLCommons AI Safety v1.0: 包括的安全性、43,090問、MLCommons
• HarmBench: 有害性・脱獄、400行動×33攻撃、UCSD等
• TruthfulQA: 事実正確性、819問、OpenAI/Stuart Russell
• HELM: 多次元包括、42シナリオ、Stanford CRFM
• BBQ: バイアス、58,492問、Princeton

規制との関連（2025年）

• EU AI Act（2024年施行）: 高リスクAIは安全性・信頼性評価と文書化が義務
• US EO 14110（2023年）: デュアルユース能力モデルは政府への評価報告義務
• AISI（UK）: Frontier AI Safety Commitments署名企業はリリース前評価を公開
• METI AI安全性研究所（AISI-Japan）: 2024年設立、日本語モデル安全性評価基準策定中

よくある質問（FAQ）

Q1: MLCommonsとHarmBenchはどう使い分けるのか？ A: MLCommonsは法規制準拠・包括的評価向け（幅広いリスクを浅く測定）、HarmBenchは攻撃手法の研究・レッドチーミング向け（特定リスクを深く掘り下げ）という使い分けが一般的。

Q2: スコアが高ければ「安全」と言えるのか？ A: ベンチマーク通過はリリース可能性の一要件であり、「安全の証明」ではない。未知の攻撃手法・文化的コンテキスト・長期的な影響は評価困難。

Q3: オープンソースモデルの安全性評価は誰が行うのか？ A: Meta等のプロバイダーが公開ベンチマークで評価してカードを公開する。ただし第三者検証の仕組みが不十分で、独立した評価機関（AISI等）による評価が今後の課題。