コントラスティブデコーディング（コントラスティブデコーディング）

コントラスティブデコーディングとは

Contrastive Decoding（CD）は2023年にXiang Lisa Li、Ari Holtzman（Stanford/UW）らが論文「Contrastive Decoding: Open-ended Text Generation as Optimization」で発表した生成デコーディング手法。

基本原理

通常のサンプリングやビームサーチは単一モデルの確率分布から生成するが、CDは2つのモデルを使う：

• Expert（専門家）: 大きく高性能なLLM（例: LLaMA-65B）
• Amateur（素人）: 小さく低性能なLLM（例: LLaMA-7B）

各ステップで選択するトークンtはCD-score(t) = log p_expert(t) - log p_amateur(t) を最大化するもの。専門家固有の知識・品質を反映したトークンが浮かび上がる仕組み。

なぜハルシネーションが減るか

素人モデルは文法的に自然だが事実的に不正確なトークンにも高い確率を割り当てる（モデルの汎用バイアス）。専門家モデルは正確な事実トークンにより高い確率を割り当てる。差分を取ることでバイアスを差し引き、事実性の高いトークンが浮かび上がる。TruthfulQAで幻覚率を約20%削減する効果が報告されている。

派生手法

• VCD（Visual Contrastive Decoding）: VLMでビジュアルコンテキストありvsnashで対比
• DoLa（Decoding by Contrasting Layers）: 同一モデルの早期層と最終層を対比（追加モデル不要）
• DExperts: 専門家/反専門家（toxicモデル等）の対比で有害性制御
• ICD（Instruction Contrastive Decoding）: 指示あり/なしで対比して指示追従性を強化

実用上の制約

推論コストが約2倍（expert + amateur の2回フォワードパス）。DoLaは同一モデルで完結するため追加コスト最小で実用的。ローカルLLM環境では8GB VRAMで2モデル同時ロードが難しいため、DoLa変種が現実的な選択肢となる。