LLM安全性評価フレームワーク（エルエルエムアンゼンセイヒョウカフレームワーク）

LLM安全性評価フレームワークは、大規模言語モデルのリスクを体系的に測定・比較するための標準化された評価体系である。2024-2026年にかけてAI規制の強化に伴い、モデル開発者とデプロイ企業の両方にとって必須ツールとなった。

概要

LLMの安全性評価は従来、各企業が独自基準で実施していたが、2024年以降は標準化が急速に進んでいる。米国のAI Safety Institute（AISI）、EU AI Office、英国のAI Safety Instituteが共同で国際的な評価基準の策定を進めており、2026年にはISO/IEC 42001（AI管理システム）と連携した統一フレームワークの発行が見込まれている。

主要な評価軸は以下の通り：

• 有害性（Harmfulness）: 暴力・ヘイトスピーチ・違法コンテンツの生成リスク
• 堅牢性（Robustness）: ジェイルブレイク・プロンプトインジェクションへの耐性
• 公平性（Fairness）: 人種・性別・年齢等に基づくバイアスの程度
• プライバシー（Privacy）: 学習データ・個人情報の漏洩リスク
• 透明性（Transparency）: 出力根拠の説明可能性

主要フレームワーク比較

HarmBenchの詳細

HarmBench（2024年発表）はLLM安全性の事実上の標準ベンチマークである：

• 評価指標: Attack Success Rate（ASR）= 攻撃成功プロンプト数 / 全攻撃プロンプト数
• 攻撃手法: GCG、AutoDAN、PAIR、TAP、Human Jailbreaks、DirectRequestの6カテゴリ
• 合格基準: ASR 5%以下（全カテゴリ平均）が商用デプロイの目安
• 2025年結果: Claude 3.5 Sonnet ASR 2.3%、GPT-4o ASR 4.1%、Gemini 1.5 Pro ASR 5.8%
• 制限事項: 英語中心、マルチモーダル評価は限定的、新規攻撃手法への追従に遅延

MITRE ATLASの活用

MITRE ATLASはサイバーセキュリティのATT&CKフレームワークをAI/MLに拡張したもの：

• 戦術（Tactics）: 偵察、リソース開発、初期アクセス、実行、永続化、回避、影響の7段階
• 技法（Techniques）: 各戦術に対応する具体的攻撃手法。LLMプロンプトインジェクション（AML.T0051）など
• ケーススタディ: 実際のAI攻撃事例を収録。2023年のBing Chatジェイルブレイク、2024年のGemini間接注入など
• 活用方法: 脅威モデリング→攻撃シナリオ設計→防御策マッピング→ギャップ分析のサイクル

評価実施のベストプラクティス

1. ベースライン測定: デプロイ前にHarmBenchでASRを測定し、基準値を記録
2. 継続的モニタリング: 本番環境での異常プロンプト検出（Lakera Guard、LLM Guard）
3. 多言語テスト: 英語以外（特に日本語・中国語・アラビア語）でのフィルター有効性確認
4. マルチモーダル評価: 画像・音声入力経由の攻撃テスト（GPT-4V、Gemini対象）
5. コンプライアンスマッピング: EU AI Act要件とフレームワーク評価項目の対応表作成
6. Red/Blue チーム演習: 攻撃チーム（Red）と防御チーム（Blue）の定期的な対抗演習

よくある質問（FAQ）

Q1: どのフレームワークから始めるべきか？ A: まずOWASP LLM Top 10でリスクカテゴリを把握し、HarmBenchで定量的なASRを測定するのが推奨。MITRE ATLASは脅威モデリングの段階で活用する。

Q2: 評価にかかるコストと時間は？ A: HarmBenchの全プローブ実行で約$50-200（API使用料）、所要時間2-4時間。MITRE ATLASベースの包括的評価は専門コンサルタント含め$10,000-50,000が相場。

Q3: 自社開発モデルとAPI利用モデルで評価方法は異なるか？ A: API利用モデルはブラックボックステスト（入出力ベース）のみ。自社開発モデルではホワイトボックステスト（内部重み・活性化パターンの分析）も可能で、より詳細な脆弱性発見が期待できる。

まとめ

• HarmBench・MITRE ATLAS・OWASP LLM Top 10が三大フレームワーク
• ASR（攻撃成功率）5%以下が商用デプロイの目安
• EU AI Act（2026年）で法的評価義務が発生
• 多言語・マルチモーダルの評価カバレッジ拡大が課題
• 継続的な評価（CI/CDパイプライン統合）が業界トレンド