LLM有害コンテンツ検出（エルエルエムユウガイコンテンツケンシュツ）

LLM有害コンテンツ検出とは

LLM有害コンテンツ検出は、大規模言語モデルが生成するテキストや、ユーザーが入力するテキストから、ヘイトスピーチ・暴力・性的コンテンツ・自傷・ハラスメント等の有害要素を自動識別する技術の総称です。チャットボット・コンテンツ生成プラットフォーム・SNSモデレーションなどで広く活用されます。

主要な有害コンテンツカテゴリ

ヘイトスピーチ（人種・宗教・性別等による差別・侮辱）・暴力/脅迫（物理的危害の助長・脅迫）・性的コンテンツ（明示的性的表現・CSAM）・自傷/自殺（誘発・美化）・危険情報（爆発物・薬物製造等の危険指示）・ハラスメント（個人への執拗な攻撃・いじめ）・誤情報（意図的な虚偽・陰謀論）が主要カテゴリ。

代表的なツール・API

Google Perspective API

Jigsaw（Google子会社）が開発。TOXICITY・SEVERE_TOXICITY・INSULT等のスコアをJSON返却。Webフォーラム・コメント欄のモデレーションに広く使用。多言語対応（日本語含む）。

OpenAI Moderation API

GPT系モデルアプリに必須の出力チェック。hate/sexual/violence/self-harm等のカテゴリ別フラグを返却。無料で利用可能（API利用規約の遵守が条件）。

Meta Llama Guard

Llama 3ベースのファインチューン済み安全分類器。S1〜S13のMLCommons AIセーフティカテゴリに分類。オープンソース（ローカル実行可能）。Llama Guard 3は多言語対応・高精度。

Detoxify（OSS）

Python/PyTorchで動作するオープンソースモデル。HuggingFace経由でローカル実行可能。Unbiased・Original・Multilingual各バリアントが存在。

実装アプローチ

モデル組込型（Intrinsic Safety）: RLHF・Constitutional AIでモデル自体を有害出力しないよう学習。生成プロセス中に安全性が組み込まれている。追加推論コスト不要だが回避される可能性がある。

後処理型（Extrinsic Filtering）: 生成後に分類器で有害スコアを算出。閾値超過で出力差替・警告・ログ記録。計算コストは高いが柔軟性が高くスタックに組み込みやすい。

評価ベンチマーク

ToxiGen（人工的に生成した暗黙的ヘイトスピーチのベンチマーク）・HatEval（SemEvalのヘイトスピーチ検出タスク）・WinoQueer/BBQ（バイアス・ステレオタイプの測定）・BOLD（職業・人種等のバイアス評価）が主要ベンチマーク。

自作PC・ローカルLLM環境での活用

OllamaやLM StudioでローカルLLMを動かす場合、Llama Guard（Ollama経由でMeta-Llama/Llama-Guard-3-8Bをローカル実行可能）・Detoxify（Python+PyTorchで完全オフライン動作）を活用することで、外部APIなしで有害コンテンツ検出が可能。ゲーム実況AIや創作支援ツールなど個人プロジェクトでも有用。

検出精度の限界

文脈依存性: 同じ単語が文脈で有害/無害が変わる（医療用語等）。言語・文化差: 特定言語での精度低下が発生。迂回表現: 絵文字・スラング・略語での回避。偽陰性/偽陽性トレードオフ: 感度を上げると正常テキストも誤検出するリスクがある。