LLM ハルシネーション検出（エルエルエムハルシネーションケンシュツ）

LLM ハルシネーション検出とは

LLMハルシネーション（Hallucination）とは、大規模言語モデルが事実とは異なる情報を、あたかも正確な事実であるかのように自信を持って生成する現象です。「幻覚」とも訳され、AI利用における最も重要な課題のひとつです。ハルシネーション検出・軽減は、LLMを医療・法律・金融等の高信頼性が求められる分野に適用する上での前提条件となっています。

ハルシネーションの種類

忠実性ハルシネーション（Faithfulness Hallucination）

モデルに与えられたコンテキスト（入力文書等）と矛盾する出力を生成する場合です。

• RAGシステムで検索された文書と矛盾する回答を生成
• 要約タスクで原文にない内容を追加
• 翻訳タスクで原文と異なる内容を生成

事実性ハルシネーション（Factuality Hallucination）

世界に関する事実と異なる内容を生成する場合です。

• エンティティ幻覚: 存在しない人物・企業・書籍を生成
• 数値幻覚: 誤った統計・日付・数値を自信を持って回答
• 引用幻覚: 実在しない論文・判例・法律を引用
• 知識の時間的ズレ: 学習データのカットオフ以降の変化を反映しない

主要な検出手法

SelfCheckGPT（2023）

同じプロンプトを複数回独立してサンプリングし、各回答間の一致度からハルシネーションを検出します。

• 事実であれば複数回の生成で一貫した回答が得られる
• ハルシネーションであれば回答がバラバラになる傾向がある
• ブラックボックスモデルにも適用可能な非参照型評価手法

FactScore（2023）

長文テキストにおける事実精度を自動評価するフレームワークです。

• 長文を原子的な事実主張（Atomic Claims）に分解
• 各主張をWikipedia等の参照コーパスで個別に検証
• 精度スコアを0〜1の範囲で算出
• ChatGPT・PerplexityAI・Wikipedia等を比較評価した研究で広く使用

G-Eval / GEval（2023）

GPT-4等の強力なLLMを評価者として使う「LLM-as-Judge」アプローチで、一貫性・事実性・関連性を0〜5点でスコアリングします。

Hallucination Leaderboard

Hugging Faceが公開するモデル別ハルシネーション率のランキングです。TruthfulQA・HaluEval等の標準ベンチマークで各モデルを比較評価します。

主要な軽減手法

RAG（Retrieval-Augmented Generation）

現時点で最も広く採用されている軽減手法で、質問に関連する外部文書を検索してコンテキストとして提供します。

• 検索結果に基づいた回答生成で事実性が大幅に向上
• 引用ソースを付与することでユーザーが検証できる
• ただし検索結果自体の品質に依存する

Chain-of-Thought（CoT）と自己検証

段階的な推論プロセスを経ることで事実性が向上し、自己矛盾を検出しやすくなります。自己修正プロンプト（「この回答に誤りはありますか？」）と組み合わせた手法も研究されています。

不確実性推定

モデルが「わからない」と答えられるよう訓練する手法です。Calibrationの改善が目標となります。

ハルシネーション率の目安（2024〜2025年）

Hallucination Leaderboardでの一般的な質問応答タスクでの参考値:

• GPT-4o: 約3〜5%
• Claude 3.5 Sonnet: 約3〜6%
• Gemini 1.5 Pro: 約4〜7%
• Llama 3 70B: 約5〜10%

医療・法律等の専門知識領域では、一般的な質問より高いハルシネーション率が報告されており、これらの分野での単独利用は推奨されていません。2025年以降は、検索統合型のGemini 2.0 Flash・Perplexity・ChatGPT（検索モード）等がハルシネーション率の大幅な低下を実現しています。