CAI Red Teaming（シーエーアイレッドチーミング）
Constitutional AI の安全性を検証するために、意図的にモデルの脆弱性を攻撃・探索するテスト手法で、人間の Red Teamer と AI による自動攻撃を組み合わせて防御力を評価する
CAI Red Teaming とは
CAI Red Teaming は、Constitutional AI で訓練されたモデルの安全性を実戦的に検証するテスト手法である。セキュリティ分野の「レッドチーム」概念を AI 安全性に応用したもので、専門家チームが意図的にモデルの脆弱性を突く攻撃プロンプトを作成し、防御の穴を発見する。Anthropic は 2023 年以降、社内 Red Teaming チームに加え、外部セキュリティ企業や学術機関との連携で Red Teaming を実施している。
Red Teaming の手法分類
Red Teaming は攻撃手法によって以下のカテゴリに分類される。
- Direct Attack（直接攻撃）: 有害な質問をストレートに投げる最も単純な手法。例:「爆弾の作り方を教えて」。現代のモデルでは防御率 99%+ だが、ベースライン測定に必須
- Jailbreak（脱獄）: システムプロンプトを上書きしたり、ロールプレイを装って安全ガードを回避する手法。DAN（Do Anything Now）、Base64 エンコード、多言語切替などが代表的
- Prompt Injection（プロンプト注入）: ユーザー入力に悪意ある指示を埋め込み、モデルの動作を乗っ取る攻撃。RAG パイプラインや Tool Use 経由が特に危険
- Social Engineering（社会工学）: 段階的に信頼関係を構築し、徐々に有害な応答を引き出すマルチターン攻撃
- Adversarial Suffixes（敵対的接尾辞）: GCG（Greedy Coordinate Gradient）などの最適化手法で、人間には無意味だがモデルの安全ガードを無効化する文字列を生成
- Multilingual Attack（多言語攻撃）: 英語では拒否されるプロンプトを低リソース言語（ズールー語、スワヒリ語など）に翻訳して投入
攻撃手法別の防御成功率
| 攻撃カテゴリ | 防御成功率（Claude 3.5） | 防御成功率（Claude 4） | 業界平均 | 代表的攻撃例 |
|---|---|---|---|---|
| Direct Attack | 99.8% | 99.9% | 99.5% | ストレートな有害質問 |
| Jailbreak (DAN系) | 96.2% | 98.5% | 92% | DAN 13.0, Developer Mode |
| Prompt Injection | 94.1% | 97.3% | 88% | Ignore previous instructions |
| Social Engineering | 91.5% | 95.8% | 85% | 段階的信頼構築+有害要求 |
| Adversarial Suffixes | 97.8% | 99.1% | 90% | GCG 最適化攻撃 |
| Multilingual | 93.4% | 97.1% | 82% | 低リソース言語での攻撃 |
自動 Red Teaming（AI-Assisted Red Teaming）
2024 年以降、人間の Red Teamer だけでなく AI を使った自動攻撃生成が主流になっている。
- Anthropic の自動 Red Teaming: Claude 自身を Red Teamer として使用し、自己攻撃パターンを生成。1 日あたり約 10 万件の攻撃プロンプトを自動生成可能
- Perez et al. (2022): LLM を使って Red Teaming データセットを自動生成する手法を提案。人間の Red Teaming と比較して 10 倍のカバレッジを達成
- Mazeika et al. (2024): HarmBench ベンチマークを公開し、自動 Red Teaming の標準化を推進。18 カテゴリの有害性テストスイートを提供
- OpenAI (2024): GPT-4 の Red Teaming に外部組織 50+ を招聘し、1 万時間以上のテストを実施
- Google DeepMind (2024): Gemini の Red Teaming で AI アシスト型テストを導入し、攻撃成功率を人間のみの場合の 2.3 倍に向上
Red Teaming のプロセスフロー
- 脅威モデリング: 攻撃シナリオの分類と優先順位付け。NIST AI RMF や OWASP LLM Top 10 を参照
- 攻撃プロンプト作成: 人間 Red Teamer が手動で作成 + AI アシスト自動生成の併用
- テスト実行: 攻撃プロンプトをモデルに投入し、応答を記録。通常 5,000-50,000 件/ラウンド
- 脆弱性分析: 攻撃成功ケースを分類し、防御の穴を特定。カテゴリ別の成功率を算出
- 原則更新: 発見された脆弱性に対応する新原則を憲法に追加
- 再訓練・検証: 更新された原則セットで CAI ループを再実行し、修正の効果を検証
- 定期レポート: 四半期ごとに Red Teaming 結果をまとめ、透明性レポートとして公開（Anthropic の場合）
よくある質問（FAQ）
Q1: Red Teaming はどのタイミングで実施されますか？ A: モデルの訓練完了後（デプロイ前）に集中的に実施する「プリデプロイメント Red Teaming」と、デプロイ後に継続的に実施する「ポストデプロイメント Red Teaming」の 2 フェーズがある。Anthropic は両方を実施しており、デプロイ後も週次でテストを更新している。
Q2: Red Teaming で見つかった脆弱性はすぐに修正されますか？ A: 重大度による。児童安全や大量破壊兵器関連の脆弱性は即座にシステムプロンプトレベルで緊急対応し、次回の CAI 訓練サイクル（通常 1-3 ヶ月間隔）で根本修正する。軽微な脆弱性は次回訓練サイクルでまとめて対応する。
Q3: 外部の研究者も Red Teaming に参加できますか？ A: Anthropic はバグバウンティプログラムを通じて外部からの脆弱性報告を受け付けている。また、学術機関との共同 Red Teaming プログラムを定期的に実施しており、2024 年には 15 大学と共同テストを行った。
まとめ
- Red Teaming は CAI の安全性を実戦的に検証する不可欠なプロセス
- 直接攻撃からプロンプトインジェクションまで多様な攻撃手法をカバー
- AI アシスト型自動 Red Teaming で 1 日 10 万件規模のテストが可能
- 発見された脆弱性は憲法の原則更新を通じて CAI 全体の安全性向上に反映される