LLMキャリブレーション（エルエルエムキャリブレーション）

LLMキャリブレーションとは

LLMキャリブレーション（LLM Calibration）は、大規模言語モデルが出力する確信度スコアが実際の正答率と統計的に一致するよう調整・評価するプロセスである。

完全にキャリブレーションされたモデルは、「信頼度80%」と示した予測のうち実際に80%が正しく、「信頼度90%」と示した予測のうち90%が正しいという性質を持つ。

評価指標

ECE（Expected Calibration Error）が最も広く使われる指標。予測確率を複数のバケツに分割し、各バケツ内の平均確信度と実際の正解率の差の加重平均を計算する。値が0に近いほど良好なキャリブレーション状態を示す。

その他の指標：

• MCE（Maximum Calibration Error）：最悪ケースのバケツでの乖離
• Brier Score：確率予測の総合的な精度
• NLL（Negative Log-Likelihood）：確率予測の対数損失

LLMにおける過信問題

LLMは一般的に過信（overconfidence）の傾向がある。特に：

1. RLHF後の劣化：人間フィードバックによる訓練後、モデルは高い確信度を示す傾向が強くなる
2. Few-shot設定：コンテキスト内学習でも過信が生じやすい
3. 知識カットオフ：訓練データ外の質問でも高い確信度で誤答することがある

キャリブレーション手法

Post-hoc手法（訓練後調整）：

• Temperature Scaling：全ての予測に同一の温度パラメータを適用。最もシンプルで効果的
• Platt Scaling：ロジスティック回帰でスコアを変換
• Isotonic Regression：非線形な確率変換
• Histogram Binning：ビン分割による確率の離散化調整

訓練中の手法：

• Label Smoothing：ラベルを0/1でなく0.9/0.1のような軟らかい値で設定
• Focal Loss：難しいサンプルに高い重みを与え過信を抑制
• MMCE（Maximum Mean Calibration Error）Loss：キャリブレーション誤差を直接最小化

LLM特有の課題

LLMのキャリブレーションは従来の分類器と異なる点がある：

• トークンレベルvs応答レベル：LLMはトークン単位で確率を出力するが、応答全体の信頼度評価は非自明
• 生成多様性：同じプロンプトから異なる回答が生成されるため、確率の解釈が複雑
• 自己評価能力：モデルが自身の回答に「これは正しいか？」と問い返す自己キャリブレーション手法も研究されている

実用的な重要性

医療診断、法律相談、金融判断などの高リスク応用では、LLMが「分からない」と正直に答えられることが不可欠。キャリブレーションは信頼性のあるAIシステム構築の基盤技術である。