AI・機械学習
中級
HaluEval（ハルエバル）
LLMのハルシネーション傾向を質問応答・対話・要約の3タスクで体系的に評価するベンチマーク（Li et al. 2023）。3.5万件の人手検証済みハルシネーション事例を含む。
0 回閲覧
0 いいね
2026/6/7 更新
関連タグ
ハルシネーションベンチマーク
LLM評価
事実性
QA評価
HaluEval
HaluEval
概要
HaluEval（Hallucination Evaluation Benchmark）は、Junyi Li、Xiaoxue Cheng、Wayne Xin Zhao、Jian-Yun Nie、Ji-Rong Wen（中国人民大学、2023年5月）が構築したLLMハルシネーション評価ベンチマークである。質問応答（QA）・対話（Dialogue）・要約（Summarization）の3タスクにわたる約35,000件のハルシネーション事例を人手検証済みデータとして提供し、LLMがどの程度ハルシネーションを認識・回避できるかを体系的に評価する。
データセット構成
タスク1: 質問応答（QA）
- ベース: HotpotQA（マルチホップQA）
- 件数: 10,000件
- 内容: 質問・正解・ChatGPT生成ハルシネーション回答のトリプル
- ハルシネーション種類: 事実誤認・エンティティ置換・文脈無視
タスク2: 知識グラウンドダイアログ（Dialogue）
- ベース: OpenDialKG
- 件数: 10,000件
- ハルシネーション種類: 知識グラフと矛盾する回答・存在しない関係の主張
タスク3: 要約（Summarization）
- ベース: CNN/DailyMail
- 件数: 10,000件
- ハルシネーション種類: 記事にない事実の追加・数値誤認・人物混同
一般ハルシネーションデータ
- 件数: 5,000件
- 内容: 34のカテゴリ（科学・歴史・数学等）にわたる一般的な誤情報事例
ハルシネーション生成手法
ChatGPT自身にハルシネーション事例を生成させる「ChatGPT-based sampling」を採用。正解事例とハルシネーション生成を促すプロンプトをChatGPTへ投入し、「もっともらしいが誤った」回答を大量収集した後、人手検証者が正確性を確認・修正する。
主要な発見
LLMのハルシネーション認識能力
| モデル | QA Accuracy | Dialogue Accuracy | Summary Accuracy |
|---|---|---|---|
| ChatGPT（GPT-3.5） | 62.6% | 72.0% | 58.5% |
| 人間の平均 | 92.3% | 90.5% | 89.2% |
ChatGPTは人手評価と比較して約30%のギャップ。自身が生成したハルシネーションを正確に判別できていない。
ハルシネーションの傾向分析
- QA: 「数値・年代」の誤認が最多（全体の23.1%）
- 対話: 「実在しない関係の主張」が主要パターン（18.7%）
- 要約: 「記事にない情報の追加」が最も多い（31.4%）
2024〜2025年の発展
- HaluEval 2.0: GPT-4・Claude・Gemini等への適用拡張、マルチモーダル評価追加
- Code-HaluEval: コード生成AIのAPIハルシネーション評価に特化した拡張版
他のベンチマークとの比較
| ベンチマーク | タスク数 | データ規模 | 参照方式 |
|---|---|---|---|
| HaluEval | 3+1 | 35,000件 | 人手検証 |
| TruthfulQA | 1 | 817件 | 人手作成 |
| FActScore | 1（伝記） | 500件 | Wikipedia |
| FEVER | 1（事実検証） | 185,445件 | Wikipedia |
まとめ
HaluEvalはQA・対話・要約の3タスクにわたる35,000件の検証済みデータを通じて、LLMのハルシネーション認識能力を体系的に評価するベンチマークである。ChatGPTが自身のハルシネーション認識において人手評価より約30%劣ることを実証した基礎的研究として広く引用され、2025年時点でもハルシネーション研究の標準的評価セットの一つとして機能している。