LLMクレーム検証（エルエルエムクレームケンショウ）
LLMが生成したテキスト中の個別の主張（claim）を自動的に抽出し、外部情報源と照合してその真偽を判定する技術。
LLMクレーム検証とは
LLMクレーム検証（Claim Verification）は、AI生成テキストに含まれる事実主張を個別に取り出し、それぞれの真偽を外部データソースで裏付ける自動検証プロセスです。ハルシネーション検出の最も精密な手法として位置づけられ、2025年以降のエンタープライズ AI 導入における品質保証の要となっています。
クレーム検証の処理パイプライン
Step 1: クレーム抽出（Claim Extraction）
生成テキストから検証可能な事実主張を個別に抽出します。
入力例:
RTX 5090 は 32GB の GDDR7 メモリを搭載し、
前世代比で 70% の性能向上を実現しています。
価格は $1,999 からです。
抽出結果:
[
{"claim": "RTX 5090 は 32GB の GDDR7 メモリを搭載", "type": "factual"},
{"claim": "前世代比で 70% の性能向上", "type": "comparative"},
{"claim": "価格は $1,999 から", "type": "numerical"}
]
意見・推測・定義的記述は検証対象から除外します。
Step 2: エビデンス取得（Evidence Retrieval）
各クレームに対して、裏付けとなるエビデンスを外部ソースから検索します。
| ソース種別 | 具体例 | 適する主張タイプ |
|---|---|---|
| Web検索 | Google Search API, Bing API | 一般事実、最新情報 |
| ナレッジベース | Wikipedia API, Wikidata | 歴史的事実、定義 |
| 専門DB | PubMed, ArXiv, SEC EDGAR | 学術・金融データ |
| 社内文書 | RAG パイプラインのベクトルDB | ドメイン固有情報 |
Step 3: 含意判定（Entailment Classification）
取得したエビデンスが各クレームを「支持（Entailment）」「矛盾（Contradiction）」「無関係（Neutral）」のいずれであるかを NLI（Natural Language Inference）モデルで分類します。
代表的な NLI モデル:
- DeBERTa-v3-large-mnli: 汎用 NLI。MNLI ベンチマーク 91.1%
- TRUE / T5-11B: Google Research の fact verification 特化モデル
- AlignScore: 要約・対話の事実整合性評価に特化
- MiniCheck: GPT-4 レベルの検証精度を小型モデルで実現（2024年発表）
Step 4: 判定集約（Verdict Aggregation）
個別クレームの判定を集約し、テキスト全体のスコアを算出します。
テキスト全体の Factuality Score =
Supported Claims / Total Verifiable Claims
例: 5 claims 中 4 supported → Score = 0.80
主要ツール・フレームワーク
| ツール | 開発元 | 特徴 | ライセンス |
|---|---|---|---|
| FActScore | MIT + UW | 長文の atomic fact 単位検証 | Apache 2.0 |
| MiniCheck | UW | GPT-4並み精度の小型モデル（Bespoke-MiniCheck-7B） | Apache 2.0 |
| RAGAS | Explodinggradients | RAGパイプライン向け。Faithfulness / Groundedness | Apache 2.0 |
| DeepEval | Confident AI | 14種のメトリクス。CI/CD 統合対応 | Apache 2.0 |
| Vectara HHEM | Vectara | Hughes Hallucination Evaluation Model | Apache 2.0 |
| Galileo Luna | Galileo | リアルタイム hallucination 検出 SaaS | 商用 |
FActScore の仕組み
FActScore（Fine-grained Atomic Claim Score）は 2023年に提案された手法で、長文テキストを「原子的事実（atomic fact）」に分解して個別に検証します。
処理の流れ:
- テキストを文単位に分割
- 各文を atomic fact に分解（1文から複数の atomic fact が出る）
- 各 atomic fact を Wikipedia（または指定ソース）で検索
- 検索結果と atomic fact の含意関係を判定
- Supported / Not Supported の比率をスコア化
人物の伝記生成で評価した結果、GPT-4 の FActScore は 73.1%、ChatGPT（GPT-3.5）は 58.4% でした（2023年論文時点）。
エンタープライズでの活用パターン
パターン1: 生成時リアルタイム検証
LLMの出力を即座に検証し、信頼度の低い主張にフラグを立てて返す方式です。レイテンシが増加するため、チャットボットよりもレポート生成に適しています。
パターン2: バッチ事後検証
生成済みコンテンツを一括で検証するパイプラインです。コンテンツマーケティングや社内文書生成で、公開前の品質チェックとして使用されます。
パターン3: CI/CD統合
DeepEval や RAGAS をテストスイートに組み込み、RAGパイプラインの変更（チャンクサイズ変更・プロンプト修正等）が事実性を悪化させないことを自動検証します。
FAQ
Q1: クレーム検証とファクトチェックの違いは？
ファクトチェックは人間のジャーナリストが行う包括的な検証プロセスで、文脈・意図・ニュアンスを含みます。クレーム検証は LLM 出力に特化した自動化された技術的手法で、個別の事実主張の真偽判定に焦点を当てます。
Q2: 検証の計算コストはどの程度？
MiniCheck-7B で 1 クレームあたり約 50ms（A100 GPU）。1000語のテキストから平均 15〜20 クレームが抽出されるため、1テキストあたり約 1 秒です。SaaS 利用の場合は API コストが主要因になります。
Q3: 検証結果が「Neutral」（裏付けも矛盾もない）の場合はどうする？
エビデンスが見つからないことは「誤り」ではなく「未確認」です。ユーザーには「この情報は外部ソースで確認できませんでした」と表示し、最終判断を人間に委ねるのが安全な設計です。