LLMの入出力テキストを分析し、暴力・差別・性的表現・違法行為の助長などの有害コンテンツを検出・遮断するフィルタリング機構。キーワードマッチング、ML分類器、埋め込みベースの意味解析など複数手法が併用される。
LLM Content Filter（コンテンツフィルター）は、大規模言語モデルの生成テキストから有害・不適切な内容を検出し、ユーザーに到達する前に遮断またはフラグ付けする機構である。従来のWebコンテンツフィルタリングをLLM特有の文脈に適応させたもので、単純なキーワード一致だけでなく、文脈を考慮した意味的判定が求められる点が特徴だ。
最もシンプルな手法。禁止語リストや正規表現パターンでテキストを走査する。処理速度は速いが、言い換え・隠語・文脈依存の表現に対応できない。初期段階のプレフィルタとして使われることが多い。
BERT、RoBERTaなどのTransformerモデルをファインチューニングした分類器で、テキストのカテゴリ（暴力、ヘイトスピーチ、性的表現など）を判定する。OpenAI Moderation APIはこの手法をSaaS化したもので、6カテゴリ以上の分類をリアルタイムに実行する。
テキストをベクトル空間に埋め込み、有害コンテンツのクラスタとの距離で判定する。言い換えや比喩表現にも対応できるが、閾値設定が難しく、過検知（False Positive）のリスクがある。
生成LLM自体、または別のLLMインスタンスに「この応答は安全か」を評価させる。最も柔軟だが、追加の推論コストが発生する。AnthropicのConstitutional AIはこのアプローチの体系化された実装だ。
| プラットフォーム | カテゴリ数 | リアルタイム | カスタムルール | 多言語 |
|---|---|---|---|---|
| OpenAI Moderation API | 11 | ○ | × | 限定的 |
| Azure AI Content Safety | 4+カスタム | ○ | ○ | 100+ |
| Google Cloud Natural Language | 6 | ○ | ○ | 多数 |
| Perspective API | 6 | ○ | △ | 20+ |
| AWS Comprehend | 4 | ○ | ○ | 25+ |
効果的なコンテンツフィルタを構築するには、対象ドメインに合わせたカテゴリ体系の設計が不可欠だ。一般的なカテゴリには以下がある。
医療・法律・セキュリティなど正当な文脈で「有害ワード」が使われるケースへの対処が必要だ。コンテキストウィンドウを広げた判定、ドメイン別の閾値調整、ホワイトリスト運用などが有効である。
英語以外の言語、特に日本語のような形態素の区切りが曖昧な言語では、フィルタ精度が低下しやすい。言語別の学習データとモデルの整備が課題となる。
フィルタの有効性はPrecision（適合率）とRecall（再現率）で定量化し、定期的なA/Bテストとレッドチーミングで検証する。リアルタイムダッシュボードでフラグ発生率を監視し、急激な変動があれば即座に対応する体制を整えることが重要だ。
A: 入力と出力の両方に適用するのが原則だ。入力フィルタは有害なプロンプトがモデルに到達するのを防ぎ、出力フィルタはモデルが生成した有害コンテンツをユーザーに返さないようにする。さらにRAG構成ではリトリーブされたドキュメントにもフィルタをかけるべきだ。
A: 単一手法に頼らず、キーワードフィルタ→ML分類器→LLM自己評価のカスケード構成が効果的だ。各段階で誤検知ログを収集し、定期的にモデルを再学習させることで精度が向上する。
A: 言語検出を前段に配置し、言語別に最適化された分類器にルーティングする。多言語対応のOpenAI Moderation APIやAzure AI Content Safetyをベースラインとして使い、対象言語固有の表現にはカスタムルールで補完するアプローチが実践的だ。