Odds Ratio Preference Optimization（ORPO）（オッズレシオプリファレンスオプティマイゼーション）

ORPO（Odds Ratio Preference Optimization）は、2024年3月にKAIST（韓国科学技術院）の Hong らが論文「ORPO: Monolithic Preference Optimization without Reference Model」で提案した手法である。DPO系手法が共通して必要とするリファレンスモデルを完全に排除し、SFT損失と選好最適化を単一の損失関数に統合した画期的なアプローチである。

概要

従来のDPO系手法は（1）SFTフェーズでベースモデルを教師あり微調整し、（2）そのSFTモデルをリファレンスとして凍結し、（3）選好データで最適化するという2段階のプロセスが必要だった。ORPOはこれを1段階に統合する。

ORPOの損失関数は、標準的なSFTの負の対数尤度損失に、選好された応答と棄却された応答のオッズ比（odds ratio）に基づくペナルティ項を加算した形式を取る。オッズ比は応答の生成確率 p を p/(1-p) に変換したもので、選好された応答のオッズが棄却された応答のオッズより高くなるよう学習する。

主な特徴・仕組み

• リファレンスモデル不要: 学習中にリファレンスモデルのメモリ・計算が完全に不要
• 単一ステップ: SFTと選好最適化を同時に実行するため、学習パイプラインが最短
• メモリ効率: DPOの約50%のGPUメモリで学習可能（リファレンスモデル分が不要）
• オッズ比損失: 確率そのものではなくオッズ比で選好を表現し、数値的安定性を確保
• λ パラメータ: SFT損失と選好損失のバランスを制御（推奨値: 0.1-1.0）
• 計算効率: Llama-2-7B の場合、A100 80GB×4基で約1-2時間（DPOの約半分）
• データ効率: SFTデータと選好データを統合して学習するため、データ利用効率が高い
• Phi-3 採用: Microsoft の Phi-3 モデルファミリーで ORPO ベースのアライメントが採用された

他手法との比較

採用事例と実験結果

KAIST の論文では、Llama-2-7B と Mistral-7B を用いた実験で、AlpacaEval 2.0 や MT-Bench において DPO と同等以上の性能を達成しつつ学習コストを約50%削減している。特筆すべきは Microsoft Phi-3 ファミリーでの採用であり、Phi-3-mini（3.8B）、Phi-3-small（7B）、Phi-3-medium（14B）のアライメントに ORPO が使用されたことが技術レポートで報告されている。2025-2026年時点で、小型モデル（3B-14B）のアライメントにおいて特に人気が高い。

よくある質問（FAQ）

Q1: ORPOはなぜリファレンスモデルが不要なのですか？ A: ORPOはSFT損失と選好損失を同時に最適化するため、「SFT済みモデルを固定してそこからの逸脱を制御する」というDPOの枠組み自体が不要になる。オッズ比で直接選好を表現することで正則化が暗黙的に行われる。

Q2: ORPOはDPOより常に優れていますか？ A: 小型モデル（3B-14B）や計算リソースが限られた場合にORPOの利点が大きい。大型モデル（70B+）やデータ品質が非常に高い場合はDPOと同等か、場合によってはDPOが優位なケースもある。

Q3: ORPOのλパラメータはどう調整すべきですか？ A: λ = 0.1〜1.0 の範囲で探索する。小さいλではSFT損失が支配的になり選好学習が弱くなる。大きいλでは選好損失が支配的になりSFT品質が低下する。0.5 が一般的な出発点。

まとめ

• ORPOはSFTと選好最適化を単一ステップに統合した画期的手法
• リファレンスモデル不要でGPUメモリ約50%削減、学習時間約半分
• Microsoft Phi-3 で採用された実績があり、小型モデルのアライメントに特に有効
• TRL の ORPOTrainer で簡単に利用可能