Epistemic Uncertainty（LLM）（エピステミックアンサーテンティエルエルエム）

Epistemic Uncertainty（LLM）

概要

Epistemic Uncertainty（認識的不確実性）は、LLMが「知識不足」から生じる不確実性を指す。モデルが訓練データから十分な情報を得ていない場合や、ドメイン外の質問を受けた際に発生する。対比概念であるAleatoric Uncertainty（偶然的不確実性）がデータそのものの固有ノイズ由来であるのに対し、Epistemicは原理的に「データ・モデルを改善すれば低減できる」不確実性だ。

LLMにおける発生メカニズム

知識ギャップ（Knowledge Gaps）

• カットオフ後の情報: GPT-4oの訓練カットオフ後のニュース・製品情報
• レアドメイン: 希少言語・特殊業界・マイナー分野の専門知識
• ロングテール知識: 訓練データに数件しか現れない固有名詞や専門術語
• 反事実推論: 仮想的シナリオ（「もしA社が倒産していたら...」等）

モデル構造からの発生

• アテンション機構: Transformerのアテンション重みが「どこに注意を向けるか」に不確実性
• パラメータ多様性: 異なる乱数シードで学習した同一アーキテクチャモデルの予測差
• 幻覚との関係: Epistemic Uncertaintyが高い領域でHallucination（幻覚）が発生しやすい

主要な推定手法

Monte Carlo Dropout（MCドロップアウト）

推論時にDropoutを有効化したまま複数回サンプリングし、出力の分散を不確実性の代理指標とする手法。元はGalとGhahramani（2016）が提唱。

# 推論時dropout有効化（PyTorch）
model.train()  # dropoutを有効にするためtrainモード
with torch.no_grad():
    preds = [model(x) for _ in range(50)]  # 50回サンプリング
uncertainty = torch.stack(preds).var(dim=0)  # 分散で不確実性推定

Deep Ensembles

異なる初期化で複数の独立モデルを訓練し、予測の一致度から不確実性を推定。Lakshminarayananら（2017）が提案。LLM規模では計算コスト大。

P(True)アプローチ

LLM自身に「この回答は正しいか？」と問い直し、Trueと答える確率を不確実性の代理指標とする手法。Kadavathら（2022）がGPT-3で実証。

ユーザー質問 → LLM回答 → 「上記回答は正確ですか？Yes/No」→ P(Yes)で信頼度スコア

Epistemic vs Aleatoric の比較

実用的な活用場面

1. RAGシステムの信頼度フィルタリング

Epistemic Uncertaintyが高い回答をフラグして「情報源を参照してください」等の免責文を付加する。医療・法律・金融LLMで特に重要。

2. アクティブラーニングでのデータ収集優先順位付け

不確実性の高い入力に対して人間のラベルを優先収集し、効率的にモデルを改善する。

3. 本番モニタリング

Distribution Shiftの早期検出。本番入力の不確実性スコアが訓練時から著しく乖離したらアラートを発火する。

2025-2026年のトレンド

• R2-Uncertainty（2025）: Reasoning LLM（o1/o3/DeepSeek-R1）の思考過程（CoT）を活用した高精度不確実性推定
• Conformal LLM（2024〜）: カバレッジ保証つき予測区間を生成するConformal Predictionとの統合
• Uncertainty-Guided RAG: 不確実性スコアに基づいてRetrieval件数・クエリを動的調整
• SLM（Small LLM）でのキャリブレーション: Phi-3・Gemma-2等の小型モデルでEnsemble計算が現実的コストに

まとめ

Epistemic Uncertaintyは「モデルが知らないことを知っている」ことを定量化する技術。LLMの幻覚（Hallucination）対策・信頼性向上・選択的生成（Selective Generation）の基盤概念であり、2026年の本番LLMシステムでは不確実性定量化なしの運用はリスクが高いとされている。