言語化不確実性（ゲンゴカフカクジツセイ）

言語化不確実性とは

言語化不確実性（Verbalized Uncertainty）は、大規模言語モデルが自身の予測や回答に対する不確実性を、数値的な確率スコアではなく自然言語で表現するアプローチである。

例：「この回答は100%確実ではありません」「おそらく正しいですが、専門家への確認を推奨します」「2023年以降の情報は持っていないため、現在の状況と異なる可能性があります」

研究背景

Kadavath et al. (2022)「Language Models (Mostly) Know What They Know」では、LLMが言語的に表明する不確実性が実際の正答率とある程度相関することを示した。これは、LLMが純粋なパターンマッチングだけでなく、自己評価能力を持つ可能性を示唆する重要な研究である。

Tian et al. (2023)「Just Ask for Calibration」では、適切なプロンプト設計でLLMが確率値を自然言語で表現できることを示した。

言語化不確実性の種類

1. 認識論的不確実性（Epistemic Uncertainty）

• 知識の欠如による不確実性
• 「この分野の情報が限られているため...」
• 追加データで原則的に解消可能

2. 偶発的不確実性（Aleatoric Uncertainty）

• 本質的にランダムな要素による不確実性
• 「天気予報のような予測には本質的な不確実性があり...」
• 追加データでは解消不可能

3. モデル不確実性

• LLM自身の能力限界による不確実性
• 「このタスクは私の訓練範囲外の可能性があります」

キャリブレーションとの関係

言語化不確実性の精度は、モデルのキャリブレーション状態に依存する：

• 良好なキャリブレーション：「70%確信」→実際に70%の確率で正答
• 過信状態：「90%確信」→実際は50%の確率でしか正答しない
• 過小信頼：「30%確信」→実際は80%の確率で正答する

プロンプトによる誘導手法

直接的な確率表現の要求：

回答に対する確信度を0-100%で示してください。
回答: [回答内容]
確信度: [0-100%]

言語的不確実性の誘導：

分からない場合は「分かりません」と答えてください。
確信がない部分は「〜の可能性があります」と表現してください。

自己反省プロンプト：

回答の後、その回答が正しい確率と、なぜ間違っている可能性があるかを述べてください。

限界と課題

• Self-Report Bias：モデルが表明する不確実性が実際の不確実性を反映しない場合がある
• Prompt Sensitivity：プロンプトの微妙な違いで表明する不確実性が大きく変わる
• Hallucination中の不確実性：完全な幻覚状態でも確信を持って答えることがある
• 言語曖昧性：「おそらく」「かなり」などの言語的表現が定量的に解釈困難

実装への応用

• システムプロンプトでの不確実性表現の義務化
• 出力後の自己反省パス（Self-reflection pass）
• 複数回サンプリングによるconsistency確認との組み合わせ
• RAGシステムでの証拠品質に基づく不確実性表現