Output Guardrail（アウトプットガードレール）
LLMが生成した応答を最終的にユーザーへ返す前に検査し、有害コンテンツ・ハルシネーション・機密情報漏洩・フォーマット違反を検出・修正する出力側の防御機構。
Output Guardrailとは
Output Guardrail（出力ガードレール）は、LLMが生成した応答をユーザーに返す前に検査・修正するセーフティレイヤーである。入力ガードレールをすり抜けた攻撃や、モデル自体が生成する有害コンテンツ・ハルシネーション・機密情報の漏洩を最終防衛線として捕捉する。
出力ガードレールの検査項目
有害コンテンツ検出
モデル応答に含まれるヘイトスピーチ・暴力表現・性的コンテンツ・違法行為の教唆などを検出する。OpenAI Moderation API、Perspective API、またはカスタム分類器が利用される。
| カテゴリ | 検出対象例 | 一般的な閾値 |
|---|---|---|
| Toxicity | 侮辱・差別・ヘイト | 0.7以上でブロック |
| Violence | 暴力的描写・脅迫 | 0.8以上でブロック |
| Sexual | 性的コンテンツ | 0.6以上でブロック |
| Self-harm | 自傷行為の助長 | 0.5以上でブロック（低閾値で安全側に） |
ハルシネーション検出（Factual Grounding）
RAG（検索拡張生成）システムでは、モデルの応答が検索結果に基づいているかを検証する。ソースドキュメントとの整合性スコアを算出し、閾値以下の場合は「情報源に基づく回答が見つかりません」と返す。
検証手法は主に3つある。
- NLI（自然言語推論）ベース — 応答の各文をソースドキュメントに対して entailment/contradiction/neutral に分類
- 引用検証 — 応答中の引用箇所がソースドキュメントの該当部分と一致するか照合
- LLM-as-Judge — 別のLLMに応答の事実性を評価させる（コストは高いが柔軟性が高い）
機密情報漏洩防止
モデルがシステムプロンプト・内部API情報・訓練データの一部を応答に含めてしまうケースを検出する。正規表現パターンマッチとエントロピー分析の組み合わせで、APIキー形式の文字列や内部URL、社内ドメイン名などを検出・除去する。
フォーマット検証
JSON・XML・Markdownなど構造化出力が求められる場合、スキーマバリデーションで応答の構造的正確性を検証する。Guardrails AIのRAIL仕様やPydanticベースの検証が代表的である。
リトライ戦略
出力ガードレールが問題を検出した場合の対応は3段階で設計する。
- 自動修正 — 軽微なフォーマットエラーは自動修正して返す
- リトライ — 有害コンテンツ検出時はtemperatureを下げて再生成（最大2-3回）
- フォールバック — リトライ上限超過時は定型の安全な応答を返す
FAQ
Q: 出力ガードレールはストリーミング応答に対応できますか？
A: チャンクバッファリングで対応可能。一定トークン数ごとに部分検査を行い、問題検出時にストリームを中断してフォールバック応答に切り替える実装が一般的である。
Q: ハルシネーション検出の精度はどの程度ですか？
A: NLIベースで F1 0.75-0.85程度。完全な検出は困難だが、「ソースに根拠なし」を検出する再現率（Recall）を高めに設定し、安全側に倒す運用が推奨される。
Q: 出力ガードレールのコスト影響は？
A: LLM-as-Judge方式は追加のAPI呼び出しが発生するため応答あたりコストが1.5-2倍になる。NLIベースやルールベースは軽量でコスト影響は軽微（5%以下）である。