KTO（カーネマン・テベルスキー最適化）とは？（ケーティーオー）意味・特徴をわかりやすく解説

Q: KTO（カーネマン・テベルスキー最適化）とは？

ペアの選好データを必要とせずスカラー品質シグナル（良い/悪い）だけでLLMをアライメントできる手法。行動経済学のカーネマン・テベルスキー理論を損失関数に応用し、DPOより少ないデータで実用的なアライメントを実現する。2024年発表。

KTO（カーネマン・テベルスキー最適化）とは

KTO（Kahneman-Tversky Optimization）は、Ethayarajh らが2024年2月に発表した論文「KTO: Model Alignment as Prospect Theoretic Optimization」で提案されたLLMアライメント手法。名称は2002年ノーベル経済学賞受賞者のDaniel KahnemanとAmos Tverskyが提唱したプロスペクト理論（Prospect Theory）に由来する。

DPOが必要とする「同一プロンプトに対する良い回答/悪い回答のペア」（chosen/rejected pair）が不要で、各応答に対するバイナリスカラー（+1/-1 または True/False）のフィードバックのみで学習できる。実際のプロダクションログから自動収集したフィードバックを直接活用可能となる。

プロスペクト理論とKTO

プロスペクト理論の核心は「人間は同額の利得より損失を約2倍強く感じる」という非対称性。KTOはこの心理モデルを損失関数に組み込む。良い応答（desirable）と悪い応答（undesirable）で異なる非対称重み付けを行う。

DPO vs KTO 比較

項目	DPO	KTO
データ形式	chosen/rejectedペア	個別応答+バイナリスコア
ペアリング要否	必須	不要
データ収集コスト	高（比較ラベリング）	低（好き/嫌いボタン）
少量データ性能	不安定	比較的安定
メモリ使用量	同等	同等
実装（TRL）	DPOTrainer	KTOTrainer

具体的なコード例（TRL KTOTrainer）

from trl import KTOTrainer, KTOConfig

# データ形式: prompt + completion + label（bool）
training_args = KTOConfig(
    beta=0.1,
    desirable_weight=1.0,
    undesirable_weight=1.0,
    learning_rate=5e-7,
    num_train_epochs=1,
    output_dir="./kto-model",
)

trainer = KTOTrainer(
    model=model,
    args=training_args,
    train_dataset=dataset,  # label=True/False の形式
    tokenizer=tokenizer,
)
trainer.train()

KTOが特に有効なシナリオ

プロダクションログ活用: ユーザーの👍👎クリック・コピーボタン押下・返信率などをバイナリ変換
コールセンターAI: オペレーター評価（解決済み/未解決）を直接フィードバックとして利用
コード生成AI: テストパス（True）/失敗（False）をそのままフィードバックとして活用
コンテンツ生成: クリック率・滞在時間をスカラー化してKTO入力に変換

ベンチマーク比較（2024年論文値）

手法	MT-Bench	AlpacaEval 2.0	データ効率
SFTのみ	6.2	4.5%	-
DPO	7.8	14.2%	高（ペア要）
KTO	7.9	13.7%	高（非ペアで同等）
RLHF (PPO)	8.1	15.3%	低（複雑）

論文によるとKTOはDPOと同等以上の性能をペアデータなしで達成。

よくある質問（FAQ）

Q1: KTOはどんな場合にDPOより優れていますか？ A: ペアデータの収集が困難な場合。既存プロダクションシステムのログを流用できるため、データ収集コストが大幅に削減できる。高品質なペアデータが既にある場合はDPOが依然優位。

Q2: desirableとundesirableの比率が偏っている場合は？ A: λパラメータで補正する。undesirableが80%を超える場合はdesirable_weight=2.0に設定して良い応答を強調する。

Q3: KTOはRLHFの完全代替になりますか？ A: 多くのユースケースで代替可能。非常に複雑なタスクではPPO+報酬モデルの組み合わせが依然有効だが、KTOは実装コスト対効果のバランスが最良の選択肢として2025年現在急速に普及している。

まとめ

KTOはペア選好データ不要で個別応答のバイナリフィードバックのみでアライメント可能
プロスペクト理論に基づく損失関数で人間の損失回避バイアスをモデル化
プロダクションログを直接活用できるため実用的なデータ収集コストが低い
HuggingFace TRLに公式実装されており、DPOTrainerからKTOTrainerへの移行は容易
2025〜2026年の商用LLM改善パイプラインで採用事例が増加中

KTO（カーネマン・テベルスキー最適化）（ケーティーオー）