GRPO（Group Relative Policy Optimization）（ジーアールピーオー）

GRPO（Group Relative Policy Optimization）とは

GRPO（Group Relative Policy Optimization）は、LLM（大規模言語モデル）を強化学習でファインチューニングするためのアルゴリズムで、DeepSeek社が2025年初頭のDeepSeek-R1論文で採用したことにより一躍注目を集めた手法です。従来のPPO（Proximal Policy Optimization）を基盤としながら、外部の報酬モデルを不要にする設計が最大の特徴です。

GRPOの仕組み

GRPOの核心は「グループ内相対報酬」です。同一のプロンプトに対してG個（通常8〜16個）の応答をサンプリングし、それぞれの品質をグループ内で相対比較することでベースラインを推定します。

学習ステップの概要：

1. サンプリング — 同一プロンプトからG個の応答を生成
2. 報酬計算 — ルールベースまたは検証可能な報酬関数で各応答をスコアリング
3. 相対化 — グループ平均を引いてアドバンテージを計算（バリュー関数不要）
4. 方策更新 — PPOクリッピング目標で勾配更新
5. KL正則化 — 参照モデルからの逸脱を抑制

この設計により、PPOで必要だったバリューネットワーク（Critic）の訓練が不要になり、メモリ効率と実装の単純さが大幅に改善されます。

PPOとの違い

PPOではCriticネットワークがバリュー関数を学習しベースラインを推定しますが、GRPOではグループ内の報酬平均がベースラインを代替します。この違いによりGRPOはCriticモデルのメモリと計算コストを完全に排除できます。報酬モデルも不要なため、訓練に必要なモデルはActorと参照モデルの2つのみとなり、PPOの4モデル構成（Actor・Critic・Ref・Reward）から大幅に削減されます。

DeepSeek-R1における成果

DeepSeek-R1はGRPOを採用し、数学（AIME 2024: 79.8%）・コーディング（Codeforces: 96.3パーセンタイル）・論理推論分野でOpenAI o1と同等以上の性能を達成しました。特筆すべきは、GRPOによって「思考チェーン（Chain-of-Thought）」が自発的に出現したことです。モデルは明示的に指示されなくても、長い推論ステップを生成するようになりました。

適用される報酬関数の種類

GRPOで使用される報酬関数は主に以下の3種類です：

• ルールベース報酬 — 数学問題の正誤判定、コードの実行結果検証など
• 形式報酬 — 出力が指定フォーマット（JSON、Markdown等）に従っているか
• プロセス報酬 — 途中ステップの正しさを評価するPRM（Process Reward Model）

これらの「検証可能な報酬」はスカラー値を確定的に返せるため、GRPOと特に相性が良いです。

GRPOの派生と後継手法

GRPOの成功を受けて、複数の改良手法が提案されています：

• DAPO（Decoupled Alignment Policy Optimization）— Alibaba/QwenチームによるGRPO改良版。クリッピング非対称化とトークンレベル損失正規化を導入
• REINFORCE++ — 分散削減を強化したシンプルなバリアント
• Dr. GRPO — グループサイズ依存性を除去し安定性を向上
• VAPO（Value-based Augmented Policy Optimization）— バリュー関数を部分的に再導入

実装フレームワーク

GRPOは以下のオープンソースフレームワークで実装されています：

• veRL（Volcano Engine RL）— ByteDanceによる大規模分散訓練対応
• OpenRLHF — 最もポピュラーなオープンソース実装
• TRL（Hugging Face）— GRPOTrainerクラスを内蔵
• LlamaFactory — WebUIで設定可能なGRPOファインチューニング

まとめ

GRPOは「報酬モデルなしでもLLMをRLでファインチューニングできる」ことを実証した画期的な手法です。DeepSeek-R1での実績により、推論能力強化のためのポストトレーニング手法として2025年の主流となっており、数学・コーディング・科学分野でのLLM性能向上に広く活用されています。