DAPO（Decoupled Alignment Policy Optimization）（ダポ）
GRPOを改良したLLMポストトレーニング手法。クリッピングを非対称化しトークンレベルで損失を正規化することで、訓練の安定性とエントロピー管理を向上させる。QwenチームがQwen2.5-Math等の訓練に採用。
DAPO（Decoupled Alignment Policy Optimization）とは
DAPO（Decoupled Alignment Policy Optimization）は、Alibaba/QwenチームがGRPOの問題点を解決するために2025年に提案した強化学習ベースのLLMポストトレーニング手法です。「デカップルド」の名称は、方策更新とKL正則化を分離（decoupled）して独立に制御する設計に由来します。
GRPOの課題とDAPOの解決策
GRPOは優れた手法ですが、長文推論タスクでいくつかの問題が観察されていました：
- エントロピー崩壊 — 訓練が進むと応答が繰り返しや短縮化に陥る
- 応答長バイアス — 長い応答と短い応答で勾配スケールが不均衡
- クリッピングの非効率 — 高報酬応答も低報酬応答も同じ上限でクリップされる
DAPOはこれらをそれぞれ異なる改良で解決します。
DAPOの4つの主要改良
1. Clip-Higher（非対称クリッピング）
GRPOでは方策比率のクリッピング範囲が対称でしたが、DAPOでは高報酬応答に対して上限を緩和します。これにより正しい応答へのより大きな方策更新を許可し、探索効率を向上させます。
2. Token-Level Loss Normalization
応答全体の損失を応答長（トークン数）で正規化します。これにより、長文応答と短文応答が等しいスケールで勾配に寄与し、モデルが不当に短い応答を好む傾向を防ぎます。
3. Dynamic Sampling（動的サンプリング）
全サンプルが同じ報酬（全正解または全不正解）だったグループを学習から除外します。これにより有効な学習信号のみを使用し、訓練の効率を高めます。
4. Entropy Bonus（エントロピーボーナス）
目標関数にエントロピー正則化項を追加し、モデルが特定のパターンに収束しすぎるのを防ぎます。エントロピーボーナス係数を適切に設定することでKL発散なしに探索能力を維持できます。
Qwen2.5-Mathでの実績
QwenチームはDAPOをQwen2.5-Mathシリーズのポストトレーニングに採用し、AMC 2023・AIME 2024などの数学ベンチマークで高いスコアを達成しました。特に長文チェーン・オブ・ソートが必要な問題での改善が顕著で、モデルが100ステップ以上の推論を安定して生成できるようになりました。
GRPOとDAPOの比較
GRPOが対称クリッピングと応答レベル損失正規化を採用するのに対し、DAPOは非対称クリッピングとトークンレベル損失正規化に加え、動的サンプリングとエントロピーボーナスを組み合わせています。これらの改良によりDAPOはGRPOより高い訓練安定性を実現します。エントロピー制御においてもGRPOがKL正則化に依存するのに対し、DAPOはエントロピーボーナスで直接制御します。
まとめ
DAPOはGRPOのコンセプトを継承しながら、数学・科学・コーディングなど長い推論が必要なタスクでの訓練安定性を大幅に改善した手法です。Qwenシリーズの高性能を支える重要なポストトレーニング技術として、2025年のLLM訓練パイプラインで標準的な位置づけを占めています。