LLM選択的予測（エルエルエムセンタクテキヨソク）
不確実性が高い質問に対してLLMが回答を保留・棄権する能力。回答精度と棄権率のトレードオフを最適化し、高信頼な回答のみ出力する手法。
LLM選択的予測とは
LLM選択的予測（LLM Selective Prediction）は、大規模言語モデルが自身の不確実性を評価し、信頼度が一定閾値を下回る場合に回答を保留（棄権）する能力・手法である。
「回答できないことを正直に認める」という単純な概念だが、実装と最適化は複雑で、高リスクAIアプリケーションの信頼性に直結する重要な研究分野である。
基本的な枠組み
選択的予測は以下のトレードオフを最適化する：
- Coverage（カバレッジ）：全入力のうち回答する割合
- Risk（リスク）：回答した中での誤答率
- Selective Risk：特定のCoverageにおけるRisk
理想的なモデルは高いCoverageを維持しながら低いRiskを達成する。
棄権の判断手法
1. 閾値ベース（Threshold-based）
モデルの出力確率スコアに閾値を設け、閾値以下の場合は棄権する。シンプルだがLLMの過信問題により効果が限定的。
2. Self-Consistency（自己一貫性）
同一プロンプトを複数回サンプリングし、回答の一致度を信頼度として使用。一致度が低い（多様な回答が出る）場合は棄権。
3. P(True)推定
モデルに自身の回答の正当性を自己評価させる。Kadavath et al. (2022)が提案したアプローチで、P(IK)（I Know）とも呼ばれる。
4. Verbalized Confidence
モデルが自然言語で表明する確信度を解析して棄権判断を行う。
5. Ensemble方法
複数のモデルの出力が一致しない場合に棄権。ただしコストが高い。
SelectiveQA評価指標
- AUROC（Area Under ROC Curve）：棄権機能の識別能力を評価
- Selective Accuracy Curve：Coverage-Accuracy曲線
- Expected Calibration Error（ECE）：棄権閾値設定の精度
ドメイン別の重要性
医療診断では Coverage 50-70%・Risk 5%以下、法律相談では Coverage 60-80%・Risk 3%以下、一般QAでは Coverage 95%以上・Risk 15%以下が目標の目安とされる。
実装パターン
システムプロンプトベース： 「確信度が70%未満の場合は、この質問への確実な回答は困難です。専門家への相談を推奨します、と答えてください」
後処理フィルタリング： モデルの出力を分析し、不確実性シグナルを検出して棄権に変換するポストプロセッサ。
RAG統合： 検索結果の関連度スコアが低い場合に棄権。検索品質と回答信頼性を連動させる。
現在の課題
- 戦略的棄権：モデルが難しい質問だけでなく、特定のカテゴリの質問を避けるバイアス
- Calibration-Abstention Interaction：キャリブレーション誤差が棄権閾値設定を困難にする
- User Experience：棄権率が高すぎるとユーザビリティが低下