LLM忠実性評価（エルエルエムチュウジツセイヒョウカ）
LLMの出力が入力コンテキスト（ソース文書・プロンプト・検索結果）に対してどれだけ正確に沿っているかを定量的に測定する評価手法。要約・QA・RAGシステムの品質管理に不可欠。
LLM忠実性評価とは
LLM忠実性評価（Faithfulness Evaluation）とは、大規模言語モデルの出力が入力として与えられたコンテキスト情報にどれだけ忠実であるかを定量的に測定・評価する技術である。「ハルシネーション検出」の下位概念であり、特に要約・質問応答・RAGパイプラインにおいて、モデルがソース文書の内容を正確に反映しているかを検証する。2026年現在、商用AIシステムの品質保証において最も重要な評価指標の一つとなっている。
忠実性と事実性の違い
忠実性（Faithfulness）と事実性（Factuality）は混同されがちだが、明確に異なる概念である。
| 概念 | 定義 | 基準 | 例 |
|---|---|---|---|
| 忠実性 | 出力がソース文書に沿っているか | 入力コンテキスト | 要約が元記事の内容と一致するか |
| 事実性 | 出力が現実世界の事実と合致するか | 外部知識・真実 | 生成された日付や統計が正確か |
| 関連性 | 出力がユーザーの質問に答えているか | ユーザー意図 | 質問に対して的確に回答しているか |
忠実性が高くても事実性が低い場合がある（ソース文書自体が古い・誤っている場合）。逆に事実性が高くても忠実性が低い場合もある（正しい情報だがソースにない情報を追加している場合）。
主要な忠実性評価メトリクス
トークンレベルメトリクス
- ROUGE-L: 最長共通部分列（LCS）に基づく重複率。計算が高速だが意味的類似性は捉えられない
- BERTScore: BERT埋め込みのコサイン類似度。意味的類似性を反映するがハルシネーション検出には不十分
- BLEURT: BERTベースの学習済み評価モデル。人間判定との相関が高い（Spearman ρ=0.83）
NLIベースメトリクス
- TRUE（Honovich et al., 2022）: T5ベースのNLIモデルで文単位のentailment判定。精度85%
- AlignScore（Zha et al., 2023）: RoBERTa-Largeベースの統一評価フレームワーク。14タスクで学習しROUGE/BERTScoreを上回る
- MiniCheck（Tang et al., 2024）: Bespoke-MiniCheck-7Bモデル。GPT-4レベルの精度をローカルで達成（AUC 0.91）
LLM-as-Judgeメトリクス
- G-Eval（Liu et al., 2023）: GPT-4にCoT評価させ、出力トークンの確率で重み付けスコアリング
- RAGAS Faithfulness: RAGパイプライン専用。生成テキストからクレームを抽出し、各クレームがコンテキストから推論可能かを判定
- Prometheus 2（Kim et al., 2024）: オープンソースの評価専用LLM。カスタム評価基準に対応
評価フレームワーク比較
| フレームワーク | 対応タスク | スコア範囲 | 速度 | コスト | 特徴 |
|---|---|---|---|---|---|
| RAGAS | RAG QA/要約 | 0.0〜1.0 | 中速 | API課金 | クレーム分解+NLI検証 |
| DeepEval | QA/要約/分類 | 0.0〜1.0 | 中速 | API課金 | 14メトリクス統合 |
| TruLens | RAG全般 | 0.0〜1.0 | 低速 | API課金 | Groundedness+回答関連性 |
| Vectara HHEM | 要約 | 0.0〜1.0 | 高速 | 無料 | 専用小型モデル（110M） |
| UpTrain | QA/チャット | 0.0〜1.0 | 中速 | OSS | 20+メトリクス |
実装パターン
RAGAS忠実性評価の基本フロー
- クレーム分解: LLMで生成テキストを原子的クレーム（atomic claims）に分解
- コンテキスト照合: 各クレームについて、入力コンテキストから推論可能かをNLIモデルで判定
- スコア算出:
faithfulness = 推論可能なクレーム数 / 総クレーム数
継続的モニタリングパイプライン
本番環境では生成ごとに忠実性を計測し、閾値（通常0.7以上）を下回った場合にアラートを発行するパイプラインが一般的である。LangSmith、Weights & Biases Prompts、Arize AI Phoenixなどのオブザーバビリティツールが対応している。
2025〜2026年の動向
- Prometheus 2: 忠実性評価専用のオープンソースLLMが登場。GPT-4評価からの脱却が進む
- マルチモーダル忠実性: 画像+テキストの忠実性評価（MFE: Multimodal Faithfulness Evaluation）が研究段階
- リアルタイム評価: ストリーミング生成中にトークン単位で忠実性を逐次評価するアプローチが実用化
- 日本語対応: LINE/サイバーエージェント等が日本語NLIデータセットを公開し、日本語忠実性評価の精度が向上
よくある質問（FAQ）
Q1: 忠実性評価で最も精度が高い手法はどれですか？ A: 2026年時点ではMiniCheck（AUC 0.91）とRAGAS Faithfulness（人間判定との相関ρ=0.87）が最高精度です。ただしドメインにより最適な手法は異なるため、自社データでベンチマークを取ることを推奨します。
Q2: 忠実性評価にGPT-4を使うとコストが高すぎませんか？ A: HHEM（無料・110Mパラメータ）やMiniCheck-7B（ローカル実行可能）など、APIコスト不要の選択肢があります。大量評価にはこれらのローカルモデルを使い、サンプル検証のみGPT-4を使うハイブリッド戦略が現実的です。
Q3: 忠実性スコアの閾値はどのように設定すべきですか？ A: 一般的なRAG QAでは0.7以上、医療・法律などの高リスクドメインでは0.9以上が推奨されます。まず人間評価とのキャリブレーションを行い、ドメイン固有の閾値を設定してください。
まとめ
- LLM忠実性評価はソース文書に対する出力の正確さを定量化する技術
- NLIベース（TRUE, MiniCheck）とLLM-as-Judge（RAGAS, G-Eval）の2系統が主流
- 本番システムでは閾値ベースのモニタリングパイプラインが必須
- 2026年はオープンソース評価モデル（Prometheus 2）とリアルタイム評価の実用化が進行