KTO (Kahneman-Tversky Optimization) 2024（ケーティーオーカーネマンツヴェルスキーオプティマイゼーション2024）
Ethayarajh ら ContextualAI 2024年 LLM alignment 手法。プロスペクト理論ベースで unpaired データ(thumbs up/down)で学習可
概要
KTO（Kahneman-Tversky Optimization）は 2024年2月に ContextualAI（Stanford 系スタートアップ）の Kawin Ethayarajh・Winnie Xu・Niklas Muennighoff ら 5名が arXiv:2402.01306 で発表した革新的 LLM alignment 手法（論文「KTO: Model Alignment as Prospect Theoretic Optimization」）。Daniel Kahneman・Amos Tversky のプロスペクト理論（1979 発表、Kahneman は 2002年ノーベル経済学賞）を損失関数化することで、DPO が必要とする pair 形式 (chosen, rejected) ではなく不対の単独 thumbs up/down ラベルで学習可能にした画期的手法。
実装は ContextualAI の Archangel ライブラリで公開、Hugging Face TRL にも 2024-04 に KTOTrainer として統合された。最大の優位性は実運用データ（ユーザーが付けた良い／悪い反応の単発フィードバック）で直接学習できる点で、これまで pair 形式に変換する手間と情報損失が課題だった部分を解決。
主な特徴・仕組み
- 理論基盤: Kahneman-Tversky プロスペクト理論（1979）— 人間の損失回避傾向（損失 2倍重視）を数学モデル化
- 損失関数: 利得 (chosen) には対数効用、損失 (rejected) には負の対数効用 + 損失回避係数 λ=2.0
- データ形式: (prompt, completion, label∈{desirable, undesirable}) の単発ラベル
- β パラメータ: 0.1（DPO 同様の KL 制約強度）
- λ パラメータ: 1.0-2.5（プロスペクト理論の損失回避係数、デフォルト 2.0）
- データ比率: desirable:undesirable = 1:1 推奨だが不均衡 (10:1) でも動作
- 計算コスト: DPO と同等
- 応用範囲: thumbs up/down UI のサービス（ChatGPT・Claude）等の実運用データに最適
- OS バージョン: 論文 v1 (2024-02)・v2 (2024-05 改良版)
スペック比較表
| 項目 | KTO 2024 | DPO 2023 | IPO 2024 | ORPO 2024 |
|---|---|---|---|---|
| データ形式 | 単発 (thumbs up/down) | ペア (chosen, rejected) | ペア | 単発 (ペア対応) |
| 理論基盤 | プロスペクト理論 | Bradley-Terry | Identity Mapping | Odds Ratio |
| Reference Model | 必要 | 必要 | 必要 | 不要 |
| 学習段階 | 1段階 | 1段階 | 1段階 | 1段階 (SFT統合) |
| 採用例 | Archangel, Zephyr KTO | Zephyr β, Tulu 2 | Llama 3 IPO 派生 | Mistral ORPO |
具体例・対応製品
- Archangel (ContextualAI 2024-02): KTO 公式実装、Llama 1/2/3 + Mistral fine-tune スクリプト一式
- Zephyr KTO 7B (Hugging Face 2024-03): Zephyr 7B β の KTO 再学習版、MT-Bench 改善
- KTO Mistral 7B (Pranavi 2024-04): Mistral 7B Instruct + UltraFeedback (KTO 変換)、コミュニティ人気
- Tulu 2 KTO 70B (AI2 2024-05): AI2 Tulu 2 + KTO、巨大モデルへの応用検証
- Llama 3 KTO 8B (Meta コミュニティ 2024-06): 公式版が DPO 採用後、コミュニティが KTO 比較版作成
選び方・注意点
- 実運用データ最適: ChatGPT 等の thumbs up/down UI 直接利用可、pair 化不要で運用コスト低
- データ不均衡 OK: desirable が undesirable より多い実運用環境でも調整可
- λ 損失回避係数: 2.0 が標準、保守的なら 2.5、攻撃的なら 1.5
- DPO との性能差: 同じ pair データで比較すると KTO ≈ DPO（差は誤差範囲）、KTO の優位性はデータ形式柔軟性
- 理論的厳密性: Bradley-Terry (DPO) より緩い前提だが実用性能で勝負
- TRL KTOTrainer: 2024-04 以降は Hugging Face TRL で 10行程度の実装
関連用語との違い
| 用語 | 違い |
|---|---|
| KTO 2024 | プロスペクト理論・単発ラベル可 |
| DPO 2023 | Bradley-Terry・ペアデータ必須 |
| IPO 2024 | DPO 過剰最適化修正・Identity mapping |
| ORPO 2024 | SFT 統合・reference 不要 |
| SimPO 2024 | 更に簡素化・reference 不要 |
よくある質問（FAQ）
Q1: KTO の最大メリットは？ A: 実運用フィードバック（thumbs up/down）を pair 化せず直接学習できる点。ChatGPT・Claude の本番運用データを weekly fine-tune するワークフローでは KTO の方が運用コスト圧倒的に低い。
Q2: プロスペクト理論をなぜ AI に適用？ A: 人間が「悪い反応」を「良い反応」より 2倍重く感じる（損失回避バイアス）という心理学的事実を損失関数に反映。RLHF の reward model が暗黙に学んでいた人間の非対称性を、数学的に明示的にモデル化した。
Q3: DPO と KTO どちらを選ぶ？ A: ペアデータがあるなら DPO、単発ラベルしかないなら KTO。性能差は小さい（誤差範囲）ので、データの形式に従って選べばよい。実運用 fine-tune は KTO 寄り、研究目的は DPO 寄り。
まとめ
- ContextualAI 2024年2月発表・プロスペクト理論ベース
- 単発 thumbs up/down ラベルで学習可（unpaired データ対応）
- DPO と同等性能・運用データ柔軟性で優位
- ChatGPT・Claude 等の実運用フィードバック直接活用可
- Archangel 公式実装・TRL KTOTrainer 標準対応