LLMレッドチーミング（エルエルエムレッドチーミング）
悪意ある入力・エッジケースを体系的に試みてLLMの安全上の脆弱性を発見・修正する評価プロセス。
LLMレッドチーミングとは
LLMレッドチーミング（Red Teaming）は、大規模言語モデルの安全性評価手法で、セキュリティ分野の「レッドチーム」概念（攻撃者視点でシステムを試験する専門チーム）をAIに応用したものです。モデルが有害・違法・誤誘導的なコンテンツを生成するよう誘導を試み、脆弱性を本番前に発見します。
レッドチーミングの主要カテゴリ
ジェイルブレイク試行
ロールプレイ誘導（「悪役を演じて」等）・仮説的シナリオへの誘導・トークン分割/エンコード回避・Many-Shot Jailbreakingなどの手法を体系的に試行する。
誤情報・幻覚誘発
事実確認困難な質問での幻覚誘発・権威的な誤情報生成の試み・ソース偽装/引用捏造を検証する。
個人情報・プライバシー攻撃
トレーニングデータの個人情報抽出試み・会話履歴からの推論攻撃・メンバーシップ推論攻撃を評価する。
有害コンテンツ生成
武器製造/犯罪指南・ヘイトスピーチ/差別助長・性的搾取コンテンツ生成を試みる。
実施形態
人間によるレッドチーミング: 安全研究者・倫理専門家・ドメイン専門家が創造的な攻撃プロンプトを手動設計。GPT-4公開前にOpenAIが600人以上の外部テスターを動員。
自動化レッドチーミング（AutoRT）: LLM自身または別のLLMが攻撃プロンプトを大量自動生成。手動では発見できないエッジケースをスケールで探索。Google DeepMindのRLAIF Red Teamingが代表例。
構造化レッドチーミング: HarmBenchなどのベンチマークデータセットを使った標準化評価。研究機関間の比較を可能にする。
主要フレームワーク・ツール
Garak（NVIDIA製LLM脆弱性スキャナー・OSS）・HarmBench（CAIS標準化ベンチマーク）・PyRIT（Microsoft製Python自動レッドチームツール）・LLM Fuzzer（ファジングベース攻撃生成）が代表的ツール。
NIST AI RMFとの関係
NIST AI Risk Management Framework（AI RMF）はレッドチーミングをAIシステムのリスク管理必須プロセスとして明記。EU AI Actの高リスクAI分類でも第三者評価が要求される。
発見→修正のサイクル
- レッドチームが攻撃プロンプト・脆弱性を記録
- 安全チームが脆弱性を分類・重み付け
- RLHF追加データとして有害応答の拒否例を作成
- モデルを再チューニング（または入力/出力フィルタ追加）
- 修正後に再度レッドチーミングで検証
このサイクルを繰り返すことでモデルの安全性が段階的に向上します。