オンラインRL（Online Reinforcement Learning for LLM）（オンラインアールエル）
LLMが自ら生成した応答に対してリアルタイムに報酬フィードバックを受け方策を更新する学習手法。オフラインの選好データセットに依存しない反復改善を可能にする。
オンラインRLとは
オンラインRL（Online Reinforcement Learning）は、LLMが訓練中に自ら応答を生成（サンプリング）し、その応答に対する報酬フィードバックを即座に受けて方策を更新する学習パラダイムである。事前に収集した固定データセットから学ぶオフラインRL（DPOが代表的）とは対照的に、モデル自身の現在の方策から生成されたデータで学習する点が本質的な違いである。
オンラインRLとオフラインRLの比較
| 特性 | オンラインRL | オフラインRL |
|---|---|---|
| データソース | 訓練中にモデルが生成 | 事前収集済みデータセット |
| 代表手法 | PPO, GRPO, ReMax | DPO, KTO, IPO |
| 分布シフト | なし（on-policy） | あり（off-policy） |
| 計算コスト | 高（推論+学習が並行） | 低（学習のみ） |
| 反復改善 | 可能（RL→サンプル→RL） | 困難（データ固定） |
| 実装難度 | 高 | 低 |
オンラインRLの優位性
分布シフトの回避
オフラインRLの最大の弱点は分布シフト（distribution shift）である。SFTモデルが生成した応答で訓練した選好データは、RL後のモデルの出力分布と乖離する。学習が進むほど訓練データと現方策の差が開き、性能が頭打ちまたは劣化する。
オンラインRLでは常に現方策からサンプリングするため、この問題が構造的に発生しない。
反復的自己改善
オンラインRLは以下のループを反復できる：
生成 → 報酬評価 → 方策更新 → 改善された生成 → ...
このループにより、報酬モデルが判別できる限り、理論上は継続的に出力品質が向上する。DeepSeek-R1ではこのオンラインRLループにより、事前訓練モデルから直接「思考連鎖」能力を獲得することに成功した。
オンラインRLの実装パターン
同期型（Synchronous）
生成と学習を逐次実行。実装が単純だがGPU利用効率が低い。
非同期型（Asynchronous）
生成と学習を別GPUクラスタで並行実行。OpenRLHFやvLLMベースのパイプラインで採用。GPU利用効率が高いが、方策の遅延（staleness）が発生する。
| パターン | GPU効率 | 方策鮮度 | 実装複雑度 |
|---|---|---|---|
| 同期型 | 低（50-60%） | 完全 | 低 |
| 非同期型 | 高（80-90%） | 1-数ステップ遅延 | 高 |
| ハイブリッド | 中-高 | 制御可能 | 中 |
オンラインDPO（Online DPO）
DPOをオンライン化する試みも進んでいる。現方策からペア応答を生成し、報酬モデルで勝敗を判定してDPO損失で学習する。純粋なオフラインDPOの分布シフト問題を緩和しつつ、PPOより実装が単純である。
代表的な手法：
- Online DPO / Iterative DPO: 各イテレーションで現方策からデータを再サンプリング
- Self-Play Fine-Tuning（SPIN）: 過去方策と現方策の対戦でデータを生成
- OAIF（Online AI Feedback）: LLM-as-Judgeで即座に選好を生成
FAQ
Q: オンラインRLはなぜ実装が難しいのか？
A: 訓練中にモデルで推論（応答生成）を行う必要があり、(1) 推論と学習のGPUメモリ管理、(2) 生成バッチと学習バッチの同期、(3) 複数ノードでの分散通信の3点が複雑化する。PPOの場合は方策+参照+報酬+価値の4モデルを協調させる必要がある。
Q: オフラインRLで十分なケースはあるか？
A: 高品質な選好データが十分にあり、モデルの出力分布がSFTモデルと大きく変わらない初期段階ではDPO等のオフライン手法で十分な改善が得られる。しかし、複数ラウンドの反復改善や、数学・コーディングなど検証可能な報酬がある場合はオンラインRLが明確に優れる。
Q: DeepSeek-R1のオンラインRLは何が革新的だったか？
A: DeepSeek-R1はSFTなしで事前訓練モデルに直接GRPOベースのオンラインRLを適用し、Chain-of-Thoughtや自己検証といった推論行動をモデルが自発的に獲得することを示した。従来はSFT→RLの2段階が必須と考えられていたパイプラインの簡略化に成功した点が画期的である。