LLMレッドチーミング（エルエルエムレッドチーミング）
LLM の安全性を検証するために、意図的に有害・不正な出力を引き出す攻撃的テスト手法。軍事・セキュリティ分野の「レッドチーム」概念を AI に応用し、モデルの脆弱性を発見して対策を講じるプロセス。
LLMレッドチーミングとは
LLMレッドチーミング（LLM Red Teaming）は、大規模言語モデルの安全性・堅牢性を評価するために、専門のテスターやツールがモデルの防御を突破しようと試みる攻撃的テスト手法です。サイバーセキュリティにおけるペネトレーションテストの概念を AI に適用したもので、モデルが有害なコンテンツを生成する・機密情報を漏洩する・バイアスのある応答を返す・安全ガードレールを迂回されるといった脆弱性を事前に発見します。
主な攻撃手法（Jailbreak テクニック）
プロンプトインジェクション
システムプロンプトの指示を上書きする入力を挿入し、モデルの動作を変更する手法です。
| 手法名 | 概要 | 対策難度 |
|---|---|---|
| DAN (Do Anything Now) | ロールプレイで制約を解除させる | 中 |
| Token Smuggling | 特殊文字・Unicode で有害語を偽装 | 高 |
| Few-shot Jailbreak | 有害な例示を数ショットで与える | 中 |
| Multi-turn Attack | 複数ターンで徐々に制約を緩和させる | 高 |
| Prefix Injection | 応答の冒頭を指定して有害な継続を誘導 | 低 |
間接的プロンプトインジェクション
RAG やツール呼び出し経由で外部データに悪意のある指示を埋め込み、モデルに読み込ませる手法です。Web 検索結果やドキュメントに不可視のプロンプトを仕込むケースが報告されています。
多言語攻撃
安全性チューニングが英語中心のモデルに対し、低リソース言語（ズールー語、スワヒリ語等）で有害な質問をすることで、ガードレールを迂回する手法です。GPT-4 や Claude でも多言語 jailbreak の成功例が報告されています。
レッドチーミングの実施プロセス
1. スコープ定義
テスト対象（テキスト生成・コード生成・ツール利用など）と評価基準（OWASP LLM Top 10 など）を定めます。
2. 攻撃シナリオ設計
以下のカテゴリで網羅的にシナリオを設計します。
| カテゴリ | テスト内容 | 評価指標 |
|---|---|---|
| 有害コンテンツ | 暴力・違法行為の生成 | Attack Success Rate (ASR) |
| 情報漏洩 | 学習データ・システムプロンプトの抽出 | Extraction Rate |
| バイアス | 人種・性別・宗教に関する偏見 | Bias Score |
| 幻覚 | 事実と異なる情報の生成 | Hallucination Rate |
| プライバシー | 個人情報の推論・開示 | PII Detection Rate |
3. テスト実行
手動テスト（人間のレッドチーマー）と自動テスト（攻撃ツール）を組み合わせます。
4. 結果分析と対策
発見された脆弱性を重大度で分類し、ファインチューニング・フィルタリング・プロンプト修正などの対策を実施します。
主要なレッドチーミングツール
| ツール名 | 開発元 | 特徴 | ライセンス |
|---|---|---|---|
| Garak | NVIDIA | 多種攻撃プローブ内蔵、プラグイン拡張可 | Apache 2.0 |
| PyRIT | Microsoft | Azure AI 統合、自動攻撃生成 | MIT |
| Prompt Injection Benchmark | — | OWASP 準拠のベンチマークスイート | 各種 |
| HarmBench | Center for AI Safety | 標準化された有害性評価ベンチマーク | MIT |
| ART (Adversarial Robustness Toolbox) | IBM | 画像＋テキスト対応の攻撃フレームワーク | MIT |
企業・組織のレッドチーミング事例
- OpenAI: GPT-4 リリース前に外部レッドチーム50名以上を招集し、6ヶ月間のテストを実施
- Anthropic: Claude のリリースごとに内部レッドチームが数千のテストケースを実行
- Google DeepMind: Gemini のセーフティレポートで多言語レッドチーミングの結果を公開
- Meta: Llama 3 のリリース前に CyberSecEval ベンチマークで自動レッドチーミングを実施
- NIST: 2024年に AI レッドチーミングのガイドライン（NIST AI 600-1）を発行
FAQ
Q1: レッドチーミングと通常のテストの違いは何ですか？
通常のテスト（評価ベンチマーク）はモデルの「正常な」性能を測定するのに対し、レッドチーミングは「異常な」入力に対するモデルの脆弱性を探索します。テストは「何ができるか」を、レッドチーミングは「何をしてはいけないのにしてしまうか」を明らかにします。
Q2: 自動レッドチーミングと手動レッドチーミングのどちらが効果的ですか？
両方を併用するのが最も効果的です。自動ツール（Garak、PyRIT）は既知の攻撃パターンを大量に高速テストでき、手動テストは創造的な新規攻撃手法の発見に優れます。実務では自動テストでベースラインを確保し、手動テストで高度な脆弱性を探索する2段階が推奨されます。
Q3: レッドチーミングの結果はどのように活用されますか？
発見された脆弱性は重大度に応じて対策が取られます。高重大度（有害コンテンツ生成成功）はリリース前の修正が必須で、追加のファインチューニングやフィルタリングレイヤーの導入で対応します。中重大度（バイアス検出）は改善目標として記録し、次回のトレーニングサイクルで反映します。