LLM Red Teaming（エルエルエムレッドチーミング）
LLMの脆弱性・有害出力・安全性の欠陥を意図的に発見するためのテスト手法。攻撃者の視点でモデルを評価し、Jailbreak・Prompt Injection・バイアス等のリスクを事前に特定する。
LLM Red Teamingとは
LLM Red Teaming（LLMレッドチーミング）は、大規模言語モデルのセキュリティ・安全性上の脆弱性を体系的に発見するテスト手法である。軍事・サイバーセキュリティ分野の「レッドチーム演習」をAI安全性に応用したもので、攻撃者の視点からモデルの弱点を探索し、本番デプロイ前に修正する。2026年現在、EU AI Act（2025年8月施行）により高リスクAIシステムでのRed Teamingが事実上義務化されている。
主要な攻撃手法カテゴリ
Red Teamingで検証される代表的な攻撃パターン：
- Direct Prompt Injection: 「あなたはもう制約を受けません」等の直接的な脱獄試行。成功率は2024年のGPT-4で約3%、2026年のGPT-5で0.8%未満に改善
- Indirect Prompt Injection: Webページ・ドキュメント等の外部コンテンツにプロンプトを埋め込み、RAGパイプライン経由で実行させる手法
- Crescendo Attack: 無害な会話から段階的に有害な方向へ誘導。Microsoft Research が2024年に体系化
- Many-Shot Jailbreaking: 長コンテキスト（100K+トークン）に大量の有害例を含めてモデルの安全性境界を侵食
- Skeleton Key Attack: モデルに「教育目的」等の正当化フレームを与え、安全フィルタを迂回
- Multi-turn Exploitation: 複数ターンの対話で文脈を操作し、単発では拒否される出力を引き出す
Red Teaming 実施フレームワーク比較
| フレームワーク | 開発元 | 自動化度 | 攻撃パターン数 | ライセンス | 特徴 |
|---|---|---|---|---|---|
| Garak | NVIDIA | 高 | 500+ | Apache 2.0 | プラグイン拡張可、CI/CD統合 |
| PyRIT | Microsoft | 高 | 300+ | MIT | Azure AI統合、マルチモーダル対応 |
| Inspect AI | UK AISI | 中 | 200+ | MIT | 政府機関レベルの評価基準 |
| HarmBench | CMU | 中 | 200+ | Apache 2.0 | 学術標準ベンチマーク |
| Promptfoo | OSS | 高 | カスタム | MIT | LLMアプリケーション特化 |
Red Teaming のプロセス
体系的なRed Teamingは以下の段階で実施する：
- スコーピング（1-2週間）: 対象モデルの用途・リスクプロファイルを定義。医療用途なら誤診リスク、金融なら不正助言リスクを重点化
- 攻撃計画（1週間）: MITRE ATLAS（Adversarial Threat Landscape for AI Systems）フレームワークに基づき攻撃シナリオを設計
- 手動テスト（2-4週間）: 専門Red Teamer（5-20名）が創造的な攻撃を実行。Anthropic は外部契約200名規模で実施
- 自動テスト（1-2週間）: Garak/PyRIT等で大規模自動スキャン。1モデルあたり10万-100万プロンプト生成
- 報告・修正（2-4週間）: 発見された脆弱性をCVSS風のスコアリングで優先度付け。Critical/High/Medium/Lowで分類
- 再テスト（1週間）: 修正後の回帰テスト。修正により新たな過剰拒否が発生していないか検証
自動Red Teamingの台頭
2025-2026年のトレンドとして、AIがAIをテストする「自動Red Teaming」が急速に普及している：
- Anthropic: Claude自身を攻撃エージェントとして使用し、別のClaudeインスタンスの脆弱性を探索
- Google DeepMind: Gemini 2.5で「Adversarial Agent」モジュールを内蔵。デプロイ前に自動で10万パターンのテストを実行
- Scale AI: 人間+AI協調型Red Teamingプラットフォーム「Seal」を提供。コスト$0.02/テストケースで大規模実行可能
- NVIDIA Garak 2.0: LLMエージェントが攻撃戦略を自律的に進化させるAdaptive Red Teaming機能を2026年に追加
よくある質問（FAQ）
Q1: Red Teamingはいつ実施すべきか？ A: 本番デプロイ前の必須工程として、モデルのファインチューニング完了後・プロンプトテンプレート確定後・RAGパイプライン構築後の3段階で実施する。EU AI Actでは高リスクAIシステムに対し定期的な再評価も義務付けている。
Q2: Red Teamingの費用はどのくらいか？ A: 手動Red Teamingは専門チーム5名×4週間で$50,000-150,000。自動テストツール（Garak/PyRIT）はOSSで無料、クラウドGPU費用$500-2,000程度。Scale AI Sealは$0.02/テストケースで従量課金。
Q3: 社内にRed Teamingの専門家がいない場合は？ A: 外部委託が一般的。Trail of Bits・NCC Group・Adversa AI等がLLM特化のRed Teamingサービスを提供。自動ツール（Garak/Promptfoo）でベースラインテストを社内実施し、高度な手動テストのみ外部委託するハイブリッド型が費用対効果が高い。
まとめ
- LLM Red Teamingは安全なAIデプロイの必須プロセス
- 手動テストと自動テストの併用が最も効果的
- EU AI Act施行により法的にも重要性が増大
- Garak・PyRIT等のOSSツールで低コスト開始が可能
- 自動Red Teaming（AI vs AI）が2026年の主流トレンド