Kahneman-Tversky Optimization（KTO）（カーネマントベルスキーオプティマイゼーション）

KTO（Kahneman-Tversky Optimization）は、2024年1月にContextual AI の Ethayarajh らが論文「KTO: Model Alignment as Prospect Theoretic Optimization」で提案した手法である。DPOが選好ペア（y_w, y_l）を必要とするのに対し、KTOは個別の応答に対する「良い（thumbs up）」「悪い（thumbs down）」というバイナリシグナルのみで学習できる。

概要

KTOの理論的基盤はノーベル経済学賞受賞者 Daniel Kahneman と Amos Tversky のプロスペクト理論（Prospect Theory）である。人間の価値判断は利得と損失に対して非対称であり、損失回避（loss aversion）の傾向がある。KTOはこの心理学的知見をLLM最適化に応用し、報酬の絶対値ではなくリファレンスポイントからの相対的な変化に基づいて最適化を行う。

KTOの損失関数は desirable（望ましい）と undesirable（望ましくない）の2つのケースで異なる重み付けを行う。λ_D と λ_U のハイパーパラメータで損失回避の度合いを制御し、デフォルトでは λ_U / λ_D ≈ 1.0-1.33 が推奨される。

主な特徴・仕組み

• ペアデータ不要: 個別の「良い/悪い」ラベルのみで学習可能。選好ペアの構築コストを大幅削減
• データ効率: 実世界のフィードバック（thumbs up/down）をそのまま使用可能
• プロスペクト理論: 損失回避バイアスを損失関数に組み込み、人間の判断パターンに近い最適化を実現
• スケーラビリティ: DPOと同等の計算コストで、データ収集コストは大幅に低い
• 非対称重み付け: 良い応答と悪い応答に異なる重みを設定可能（λ_D, λ_U パラメータ）
• 堅牢性: ノイズの多いフィードバックに対してDPOより頑健
• 実装容易性: TRL の KTOTrainer で直接利用可能
• 性能: DPOと同等またはそれ以上の性能を、より少ないアノテーションコストで達成

DPO・RLHF との比較

実用上のメリット

KTOの最大の利点は、実世界のフィードバックデータとの親和性の高さにある。ChatGPT やその他のチャットボットで収集される thumbs up/down データは本質的にバイナリであり、ペア化するには追加の処理が必要になる。KTOはこのバイナリデータをそのまま活用できるため、2026年時点で商用LLMサービスのアライメント手法として採用が広がっている。Mistral AI や Contextual AI の商用モデルで KTO ベースのアライメントが報告されている。

よくある質問（FAQ）

Q1: KTOはDPOより性能が高いですか？ A: データの質と量に依存する。ペア化された高品質データがある場合はDPOが有利だが、バイナリフィードバックしか利用できない現実的なシナリオではKTOが優位になる。論文ではMistral-7BでDPOと同等以上の結果が報告されている。

Q2: KTOのλパラメータはどう設定すべきですか？ A: デフォルトの λ_D = 1.0, λ_U = 1.0〜1.33 が推奨。λ_U を大きくすると悪い応答の回避が強まるが、過度に大きくすると保守的になりすぎる。

Q3: KTOに必要なデータ量はどのくらいですか？ A: 7Bモデルの場合、10,000件以上のバイナリフィードバック（良い:悪い ≈ 6:4〜7:3）で有意な改善が見られる。極端な比率（9:1等）では学習が不安定になる場合がある。

まとめ

• KTOはペアデータ不要、バイナリフィードバックのみでLLMを最適化する手法
• プロスペクト理論に基づく非対称損失関数で人間の判断パターンに近い最適化を実現
• 実世界のthumbs up/downデータをそのまま活用可能で、アノテーションコストが大幅に低い
• DPOと同等の計算効率を維持しつつ、データ収集の現実的制約に対応