プロセス報酬モデル（プロセスホウシュウモデル）
LLMの推論過程における各ステップの正しさを個別に評価する報酬モデル。最終回答のみを評価するOutcome Reward Model（ORM）と異なり、推論の途中段階でフィードバックを与えることで、より精密な推論品質の制御を可能にする。
プロセス報酬モデルとは
プロセス報酬モデル（Process Reward Model: PRM）とは、大規模言語モデルの推論プロセスにおいて、各推論ステップの正しさや品質を段階的に評価する報酬モデルである。2023年にOpenAIが発表した論文「Let's Verify Step by Step」で注目を集め、数学的推論やコード生成における推論品質の飛躍的な向上に貢献した。
従来のOutcome Reward Model（ORM）が最終回答の正誤のみを評価するのに対し、PRMは推論の各ステップに対してスコアを付与する。これにより、正しい推論過程を経て正解に到達したのか、偶然正解に辿り着いたのかを区別できる。
ORMとPRMの比較
| 特性 | ORM（Outcome RM） | PRM（Process RM） |
|---|---|---|
| 評価対象 | 最終回答のみ | 各推論ステップ |
| フィードバック粒度 | 粗い（正解/不正解） | 細かい（ステップごと） |
| 訓練データ要件 | 正解/不正解ラベルのみ | ステップレベルのアノテーション |
| データ作成コスト | 低い | 高い（専門家アノテーション必要） |
| MATH精度（Best-of-N=100） | 72.4%（OpenAI報告） | 78.2%（OpenAI報告） |
| 探索への活用 | 最終評価のみ | 中間ステップでの枝刈り可能 |
| Reward Hacking耐性 | 低い（結果操作しやすい） | 高い（過程の一貫性を検証） |
訓練データの構築方法
PRMの訓練には各推論ステップに対するラベルが必要であり、以下の方法で構築される。
人手アノテーション（Gold Standard）:
- OpenAIのPRM800Kデータセット: 800,000ステップのラベル、12,000の数学問題
- 各ステップに「正しい」「誤り」「中立」の3値ラベル
- 数学博士レベルのアノテーターが品質を保証
- コスト: 1問あたり約$5〜$15
自動ラベリング（Monte Carlo推定）:
- 各ステップから複数のロールアウトを実行し、最終的な正解率でステップの品質を推定する
- 人手アノテーションの1/100のコストで大規模データを構築可能
- Math-Shepherdが本手法の代表例
合成データ生成:
- 強力なLLM（GPT-4、Claude 3.5）に推論ステップを生成させ、意図的なエラーを含むネガティブサンプルを作成
- ステップレベルの対照学習データとして活用
代表的なPRM実装
| モデル名 | 開発元 | ベースモデル | 訓練データ | 公開状況 |
|---|---|---|---|---|
| PRM800K | OpenAI | GPT-4ベース | 800Kステップ人手ラベル | データのみ公開 |
| Math-Shepherd | MetaAI | Mistral-7B | Monte Carlo自動ラベル | モデル+データ公開 |
| Qwen2.5-Math-RM | Alibaba | Qwen2.5-Math-72B | 合成+MC推定 | モデル公開 |
| Skywork-o1-PRM | Skywork | Qwen2.5-1.5B | 合成データ | モデル公開 |
| DeepSeek-R1 PRM | DeepSeek | DeepSeek-V3 | GRPOで自動獲得 | 内部利用 |
PRMを用いたテスト時計算最適化
PRMの最大の利点は、推論の途中段階で介入できることである。具体的な活用パターン：
Step-level Beam Search:
- 各推論ステップの後にPRMで評価し、スコアの低いパスを枝刈りする
- ビーム幅$B$を維持しながら最良の推論パスを探索する
- ORMベースのBest-of-Nに比べて2〜5倍の計算効率
Progressive Filtering:
- N個の候補を同時に生成開始し、各ステップでPRMスコアが閾値以下の候補を棄却する
- 最終的に残った候補から最良を選択する
- 初期N=100でも最終段階では5〜10候補に絞られ、コスト効率が高い
MCTS（Monte Carlo Tree Search）統合:
- 推論ステップをツリーのノードとしてモデル化し、PRMスコアをノード評価に使用する
- AlphaProofやDeepSeek-R1で採用された手法
課題と今後の方向性
- Reward Hacking: PRMの評価基準を「ゲーム」するような回答パターンが生まれる可能性がある
- 分布シフト: 訓練データと推論時のステップ分布が乖離すると評価精度が低下する
- ステップ定義の曖昧さ: 何を1つの推論ステップとするかの定義が統一されていない
- スケーラビリティ: 非常に長い推論チェーン（10,000ステップ超）に対するPRM評価の計算コスト
よくある質問（FAQ）
Q1: PRMはORMを完全に置き換えるのか？ A: 現時点ではPRMとORMの併用が最も効果的である。PRMで中間ステップを評価しつつ、最終回答はORMで確認するハイブリッドアプローチが多くの研究で採用されている。PRMの訓練コストが高いため、リソースが限られる場合はORMのみが現実的な選択肢となる。
Q2: PRMの訓練にはどのくらいのデータが必要か？ A: OpenAIのPRM800Kでは800,000ステップのラベルが使用されたが、Math-Shepherdの研究では自動ラベリングにより数千問程度の初期データから実用的なPRMを構築できることが示された。ドメイン固有のPRMであれば10,000〜50,000ステップのラベルで十分な品質が得られる。
Q3: コード生成タスクにもPRMは有効か？ A: 有効である。コード生成ではテストケースの実行結果をステップレベルのフィードバックとして活用でき、人手アノテーションが不要という利点がある。CodeTやAlphaCode 2がこのアプローチを採用し、大幅な精度向上を実現した。
まとめ
- PRMはLLMの推論ステップごとに品質を評価する報酬モデルであり、ORMより精密な推論制御を可能にする
- OpenAI PRM800KでORMに比べてMATHスコアを約6ポイント向上させた実績がある
- 訓練データ構築には人手アノテーション、Monte Carlo推定、合成データ生成の3手法がある
- Step-level Beam SearchやMCTS統合でテスト時計算の効率を最大化できる
- 現在はPRMとORMのハイブリッド運用が主流である