AI Safety Benchmark（エーアイセーフティベンチマーク）

AI Safety Benchmarkとは

AI Safety Benchmark（AI安全性ベンチマーク）とは、AIモデルが有害・不適切・危険な出力を生成するリスクを定量的に評価するためのテストスイート群である。モデルの能力を測るMMLUやHumanEvalなどの性能ベンチマークに対して、安全性ベンチマークはモデルの「やってはいけないこと」への耐性を測定する。

近年のLLM開発において、安全性評価は性能評価と同等以上の重要性を持つようになっており、主要モデルのリリース前には複数の安全性ベンチマークによる評価が標準的に実施されている。

主要な安全性ベンチマーク

安全性評価の主要カテゴリ

1. 有害コンテンツ生成（Toxicity）

暴力的・差別的・性的に不適切なコンテンツの生成傾向を測定する。単純な有害ワードの出現率だけでなく、文脈依存の微妙な毒性（マイクロアグレッション、暗黙的ステレオタイプなど）の検出も含む。

2. 社会的バイアス（Bias）

性別、人種、年齢、宗教、障害、性的指向などの社会的属性に関する不公平な偏りを測定する。質問の前提に曖昧性がある場合に、モデルがステレオタイプに基づく推論を行うかどうかを評価する。

3. ジェイルブレイク耐性（Robustness）

意図的にモデルの安全制約を回避しようとする攻撃プロンプト（ジェイルブレイク）に対する耐性を評価する。GCG攻撃、多言語攻撃、ロールプレイ攻撃など多様な攻撃手法への堅牢性を測定する。

4. 情報漏洩リスク（Privacy）

学習データに含まれる個人情報や機密情報をモデルが出力するリスクを評価する。メンバーシップ推論攻撃やデータ抽出攻撃への耐性を含む。

5. 拒否精度（Refusal Accuracy）

有害な要求を適切に拒否しつつ、無害な要求を不必要に拒否しない能力を評価する。過剰拒否（Over-refusal）は安全性ベンチマークでは減点対象となる。

ベンチマーク設計の課題

安全性ベンチマークの設計には固有の課題がある：

• 文化的相対性: 「有害」の基準は文化・地域・時代により異なる。英語圏中心のベンチマークは他言語・他文化での安全性を正確に評価できない場合がある
• データ汚染: ベンチマークのテストケースがモデルの学習データに含まれると、真の安全性ではなく暗記による回避が測定される。定期的なベンチマーク更新が必要
• 攻撃の進化: ジェイルブレイク手法は急速に進化しており、静的なベンチマークでは新しい攻撃パターンへの耐性を評価できない
• 評価の自動化: 安全性判定の自動化は困難であり、LLMベースの評価者（LLM-as-a-Judge）自体のバイアスが結果に影響する

企業の安全性評価プロセス

主要AI企業はリリース前に以下のプロセスを実施する：

1. 内部ベンチマーク評価: 自社開発のテストスイートで基本的な安全性を確認
2. レッドチーミング: 専門家チームが手動で攻撃シナリオを探索
3. 外部監査: サードパーティによる独立した安全性評価
4. 段階的リリース: 限定公開→一般公開の段階的展開でリスクを制御

FAQ

Q1: 安全性ベンチマークのスコアが高ければモデルは安全ですか？

A1: ベンチマークは既知のリスクカテゴリに対する耐性を測定するものであり、未知の攻撃手法や新しい有害性パターンへの対応を保証しません。ベンチマークスコアは安全性の「必要条件」であり「十分条件」ではないと理解すべきです。

Q2: 自社モデルの安全性を評価するにはどのベンチマークを使うべきですか？

A2: 用途に応じた組み合わせが推奨されます。一般的にはToxiGen（毒性）+ BBQ（バイアス）+ HarmBench（堅牢性）の3種が基本セットとして広く使われています。多言語対応が必要な場合はSafetyBenchを追加し、特定業界向けにはカスタムベンチマークの構築も検討してください。

Q3: ベンチマーク結果は公開すべきですか？

A3: 透明性の観点から公開が推奨されますが、詳細な攻撃プロンプトの公開は新たな攻撃手法の拡散につながるリスクがあります。スコアとカテゴリ別の傾向は公開し、具体的な攻撃手法の詳細は責任ある開示（Responsible Disclosure）の枠組みで取り扱うのが一般的です。