REBEL（Regression-Based RL for LLM Alignment）（レベル リグレッション ベースド アールエル フォー エルエルエム アライメント）
回帰問題として報酬最大化を定式化するLLM整合強化学習手法。報酬モデルの出力を直接回帰ターゲットとして学習し、PPOのアクター・クリティックの複雑な最適化を回避しながら高品質な整合を実現する。
REBEL（Regression-Based RL for LLM Alignment）とは
REBEL（Regression-based Reinforcement Learning for LLM Alignment）は、2024年にGarcelon et al.（Meta AI）らが提案したLarge Language Modelの整合手法。従来のRLHF（Reinforcement Learning from Human Feedback）が抱えるPPOの不安定性・複雑な実装問題を、強化学習を「回帰問題」として再定式化することで解決する。
従来RLHF（PPOベース）の問題点
PPOベースのRLHFは以下の実装上の課題を持つ:
- 4モデル並行管理: Actor Policy / Reference Policy / Reward Model / Value Function（Critic）の4つを同時管理
- KLペナルティ調整: 参照ポリシーからの乖離を抑制するKL係数βの繊細な調整が必要
- GAE（Generalized Advantage Estimation）: 分散削減のためのGAE計算が複雑
- オンライン学習の不安定性: Policy Gradientの高分散による学習崩壊リスク
REBELのアプローチ
回帰問題への再定式化
REBELの核心は、LLMの整合を回帰問題として捉え直すこと。具体的には:
- 報酬モデル R(x, y) が各(プロンプト, 応答)ペアに対してスカラー報酬を出力
- この報酬値を直接の回帰ターゲットとして使用
- モデルの出力確率分布を報酬最大化方向に「回帰的に」引き寄せる
高報酬応答の対数確率を最大化する方向に学習することで、PPOのようなオンラインRL最適化を回避しながら整合を実現する。
Critic不要の安定学習
PPOが必要とするValue Function（Critic）をREBELは必要としない。報酬モデルの出力がそのまま学習信号となるため、Criticの学習遅延や過小評価問題が発生しない。
実験結果
LLaMA-2-7Bおよび13BモデルでのAlpacaFarmベンチマーク実験では:
- PPOと同等〜それ以上のAlpacaEval勝率を達成
- 学習の安定性（報酬の単調増加）でPPOを上回る
- 実装コードが大幅に簡潔（PPO比で約40%のコード量削減）
他オフラインDPO系手法との位置づけ
DPO/ORPOがオフラインデータ（固定chosenペア）を使うのに対し、REBELはオンラインサンプリング（動的生成）を行うオンラインRL手法。データ収集コストはあるが、モデルの実際の出力分布に対して整合を行うため汎化性が高い。
実用上の注意点
報酬モデルのハッキング（reward hacking）が発生しやすいオンラインRL共通の課題を持つ。KLペナルティや定期的な参照ポリシーへのリセットなどの安定化手法を組み合わせることが推奨される。