セマンティックエントロピー（LLM）（セマンティックエントロピーエルエルエム）

セマンティックエントロピーとは

セマンティックエントロピー（Semantic Entropy）は、大規模言語モデル（LLM）のハルシネーション検出と不確実性定量化のために提案された手法で、2024年にOxford大学のFarquhar et al.がNature誌に発表した（"Detecting Hallucinations in Large Language Models Using Semantic Entropy"）。従来の確率ベースの不確実性推定とは異なり、意味レベルでの多様性を測定することで、LLMが「本当に確信を持っているか」を評価する。

従来手法の限界

従来のLLM不確実性推定は、出力トークンの確率分布のエントロピーに基づいていた。しかしこのアプローチには根本的な問題がある。「1400万人」「14,000,000人」「約1400万」はトークン列が異なるため高エントロピーを示すが、意味的には同じ答えである。逆に、同じトークン列でも文脈によって意味が異なる場合もある。

セマンティックエントロピーの仕組み

ステップ1: 複数サンプリング

同一プロンプトに対してLLMをN回（通常5〜10回）独立にサンプリングし、N個の回答を収集する。

ステップ2: 意味的等価クラスタリング

収集した回答を双方向の自然言語推論（NLI: Natural Language Inference）で比較し、「意味的に等価」なグループにクラスタリングする。AならばBが成立し、かつBならばAが成立する場合、A=Bと判定。

ステップ3: エントロピー計算

クラスタをイベントとしてエントロピーを計算：

SE = -Σ P(cluster_i) × log P(cluster_i)

P(cluster_i)は各クラスタに属する回答の割合。

解釈

• 低SE：全サンプルが同一クラスタ → モデルは確信を持っている → ハルシネーションリスク低
• 高SE：サンプルが複数クラスタに分散 → モデルは不確実 → ハルシネーションリスク高

実験結果

Farquhar et al.のNature論文では、TriviaQA・SQuAD・BioASQなど複数のQAベンチマークで評価。セマンティックエントロピーは従来の語彙的不確実性指標（p(true)・ルーブリックベース等）を大幅に上回るAUROCを達成し、ハルシネーション検出の最良指標の一つとして確立された。

実装の注意点

• NLIモデルの品質がクラスタリング精度に直結。DeBERTaベースの高性能NLIモデルが推奨。
• サンプリング回数が多いほど精度が上がるが、推論コストがN倍になる。
• 長文回答ではClaimレベルに分解してから適用するアプローチが有効。
• temperature=1.0程度のサンプリングが多様性確保に重要。

2025年への影響

セマンティックエントロピーはConformal Prediction（予測区間保証）と組み合わせたリスク制御や、RAGパイプラインでの信頼度フィルタとしての応用が進んでいる。また、Selective Prediction（不確実性が高い場合に回答を拒否する）のしきい値設定にも活用される。