LLM事実性ベンチマーク（エルエルエムジジツセイベンチマーク）
LLMが生成するテキストの事実的正確性を体系的に測定するための評価データセットとスコアリング手法の総称。FActScore・TruthfulQA・HaluEval等が代表的で、モデルの信頼性比較や改善指標として使用される。
LLM事実性ベンチマークとは
LLM事実性ベンチマーク（Factuality Benchmark）とは、大規模言語モデルが生成するテキストの事実的正確性を体系的に評価するためのデータセット・メトリクス・評価プロトコルの総称である。モデルが「もっともらしいが間違った情報」をどの程度生成するかを定量化し、モデル間の比較やハルシネーション緩和技術の効果測定に使用される。2026年現在、LLMの商用利用において事実性ベンチマークのスコアは信頼性の客観的指標として重視されている。
代表的なベンチマーク
| ベンチマーク | 対象タスク | データセット規模 | 評価方法 | 主要スコア |
|---|---|---|---|---|
| TruthfulQA | 自由回答QA | 817問 | 人間+GPT-4評価 | %truthful（真実率） |
| FActScore | 人物伝記生成 | 500人分 | 原子的事実検証 | %supported（支持率） |
| HaluEval | 要約/QA/対話 | 35,000サンプル | 二値分類 | F1スコア |
| FELM | 多分野事実性 | 847タスク | 文レベルNLI | Accuracy |
| HalluQA | 中国語事実性 | 450問 | 多段階評価 | 総合スコア |
| FactBench | 多言語事実性 | 1,000+サンプル | APIベース自動評価 | Precision@K |
TruthfulQA 詳解
2021年にStephanie Lin（Oxford）らが発表した最も広く引用される事実性ベンチマーク。
- 設計思想: 人間が直感的に間違える質問（迷信・都市伝説・統計的誤解）を817問収集
- カテゴリ: 健康、法律、金融、物理学、歴史、心理学、社会通念など38カテゴリ
- 評価方式: 生成テキストの真実性（Truthful）と情報性（Informative）を二軸で評価
- 主要結果（2026年時点）:
- GPT-4o: 82.3%（truthful）
- Claude 4 Opus: 84.1%
- Gemini 2.5 Pro: 80.7%
- Llama 3.1 405B: 73.5%
- 人間ベースライン: 94.0%
FActScore 詳解
2023年にSewon Min（University of Washington）らが発表。生成テキストを原子的事実（Atomic Facts）に分解し、各事実の検証可能性をスコア化する革新的手法。
- 原子的事実分解: 「Albert Einsteinは1879年にドイツのウルムで生まれた」→「Albert Einsteinは1879年に生まれた」+「Albert Einsteinはドイツで生まれた」+「Albert Einsteinはウルムで生まれた」
- 検証ソース: Wikipedia（デフォルト）、Google Search、カスタムナレッジベース
- スコア:
FActScore = 支持された原子的事実数 / 総原子的事実数 - 代表的スコア:
- GPT-4o: 73.1%（人物伝記タスク）
- Claude 4 Sonnet: 71.8%
- Llama 3.1 70B: 62.4%
- 検索拡張時: +10〜15ポイント改善
HaluEval 詳解
2023年にLi et al.が発表した大規模ハルシネーション評価ベンチマーク。
- 3タスク構成: QA（10,000件）、要約（10,000件）、対話（5,000件）+ 一般知識（10,000件）
- 評価方式: ハルシネーションを含む出力と含まない出力のペアを提示し、モデルの判別能力を測定
- 自動生成: ChatGPTで意図的にハルシネーションを含む出力を生成し、人間が検証
- 活用: ハルシネーション検出モデルの訓練データとしても使用可能
新世代ベンチマーク（2025〜2026年）
SimpleQA（OpenAI, 2024）
- 4,326問のファクトイド質問。正答が短く一意に定まるため自動採点が容易
- GPT-4o: 38.4%正答（驚くほど低い）、o3: 47.8%
- 「LLMの事実的知識は見かけほど高くない」ことを示した重要ベンチマーク
SAFE（Google DeepMind, 2024）
- Search-Augmented Factuality Evaluator。Google検索を用いて原子的事実を自動検証
- 人間評価者との一致率72%（FActScoreの60%を上回る）
- APIベースで大規模評価が可能
RealHall（2025）
- 実際のユーザー対話から収集したハルシネーション事例
- 合成データではなく実環境での事実性を評価
- ドメイン別（医療・法律・技術・一般知識）のスコアリング
ベンチマーク選定ガイド
| ユースケース | 推奨ベンチマーク | 理由 |
|---|---|---|
| モデル選定 | TruthfulQA + SimpleQA | 広範なカバレッジ + 厳密な事実性 |
| RAGシステム評価 | FActScore + RAGAS | ソースとの照合精度 |
| ハルシネーション検出モデル訓練 | HaluEval | 大規模ラベル付きデータ |
| 多言語対応 | FactBench | 多言語サポート |
| 本番モニタリング | SAFE (自動) | 人手不要のスケーラブル評価 |
ベンチマークの限界と注意点
- データ汚染（Contamination）: トレーニングデータにベンチマーク問題が含まれるリスク。SimpleQAは対策としてリリース後のファクトを含む
- タスク特異性: 人物伝記（FActScore）で高スコアでも医療QAで低い場合がある。ドメイン固有のベンチマークが必要
- 評価バイアス: LLM-as-Judgeは自分自身のハルシネーションパターンに甘い傾向がある
- 静的データセットの陳腐化: 時事的な質問は時間経過で正答が変わる。動的ベンチマークの必要性
- 多言語格差: 英語以外のベンチマークは不足しており、日本語事実性の定量評価は発展途上
よくある質問（FAQ）
Q1: どのベンチマークを使えばモデルの事実性を最もよく評価できますか？ A: 単一のベンチマークでは不十分です。TruthfulQA（常識的事実性）+ FActScore（長文生成の事実性）+ ドメイン固有QA の3層評価が推奨されます。SimpleQAは追加すると短文事実性の弱点が露呈しやすく有用です。
Q2: ベンチマークスコアと実際のユーザー体験は一致しますか？ A: 中程度の相関があります。TruthfulQAスコアが高いモデルは一般的にユーザー満足度も高い傾向ですが、ベンチマークは特定のタスク形式に限られるため、実際のユースケースでの追加評価が不可欠です。
Q3: 自社ドメインの事実性ベンチマークはどう作りますか？ A: ドメイン専門家が100〜500問のファクトイド質問を作成し、正答を確定します。FActScore方式で原子的事実に分解し、ドメイン知識ベースとの照合で自動採点パイプラインを構築するのが効率的です。
まとめ
- LLM事実性ベンチマークはモデルの信頼性を定量化する不可欠なツール
- TruthfulQA・FActScore・HaluEvalが3大定番ベンチマーク
- SimpleQA・SAFEなど新世代ベンチマークが2025年以降に登場し精度向上
- 単一ベンチマークでは不十分。複数を組み合わせた多面的評価が必須
- 日本語ベンチマークの整備が今後の課題