プロセス報酬モデル（PRM）（プロセスホウシュウモデル）
最終回答だけでなく推論の各ステップに報酬スコアを付与するモデル。数学・コーディング等の段階的推論タスクで、誤った中間ステップを早期に検出し、正しい推論パスへ誘導する。OpenAIのLet's Verify Step by Step（2023年）で提唱され、o1/o3等の推論モデルの基盤技術となっている。
プロセス報酬モデル（PRM）とは
プロセス報酬モデル（Process Reward Model, PRM）は、LLM の推論における各中間ステップに対して報酬スコアを付与するモデルである。従来の報酬モデル（Outcome Reward Model, ORM）が最終回答のみを評価するのに対し、PRM は推論プロセス全体を段階的に評価することで、誤った推論パスを早期に検出し、より信頼性の高い最終回答へ導く。
OpenAI が2023年に発表した「Let's Verify Step by Step」論文で本格的に提唱され、数学問題（MATH ベンチマーク）において ORM を大幅に上回る性能を実証した。2025-2026年のo1・o3・DeepSeek-R1 等の推論特化モデルでは、PRM またはその変種がコア技術として組み込まれている。
ORM と PRM の比較
| 項目 | ORM（結果報酬モデル） | PRM（プロセス報酬モデル） |
|---|---|---|
| 評価対象 | 最終回答のみ | 各推論ステップ |
| ラベル形式 | 正解/不正解の2値 | ステップごとの正否判定 |
| アノテーションコスト | 低（自動検証可能） | 高（人間のステップ検証が必要） |
| 報酬ハッキング耐性 | 低い | 高い（中間監視あり） |
| 適用タスク | 汎用タスク全般 | 数学・コーディング・論理推論 |
| MATH 精度（Best-of-N） | 約72%（OpenAI 報告） | 約78%（OpenAI 報告） |
PRM の動作原理
ステップレベル評価
PRM は入力テキストを推論ステップ単位で分割し、各ステップの「正しさ」をスコアリングする。
プロンプト: 「2x + 3 = 11 を解け」
Step 1: 両辺から3を引く → 2x = 8 [PRM スコア: 0.95 ✓]
Step 2: 両辺を2で割る → x = 4 [PRM スコア: 0.98 ✓]
最終回答: x = 4 [正解]
誤った推論の場合:
Step 1: 両辺から3を引く → 2x = 8 [PRM スコア: 0.95 ✓]
Step 2: 両辺を3で割る → x = 2.67 [PRM スコア: 0.12 ✗ ← 早期検出]
最終回答: x = 2.67 [不正解]
Best-of-N リランキング
PRM の最も一般的な活用方法は、複数の推論パスを生成し、PRM スコアが最も高いパスを選択する Best-of-N サンプリングである。
- 同一プロンプトに対して N 個の推論パスを生成（N = 16〜256）
- 各パスの各ステップに PRM スコアを付与
- 最小ステップスコア（最も弱いリンク）が最大のパスを選択
- OpenAI の実験では N=100 で MATH ベンチマーク精度が ORM 比 +6% 向上
PRM800K データセット
OpenAI が公開した PRM 訓練用データセット。MATHベンチマーク の12,000問に対して約800,000ステップのラベルを含む。
| 項目 | 詳細 |
|---|---|
| 問題数 | 約12,000問（MATHベンチマーク） |
| ステップラベル数 | 約800,000 |
| ラベル種類 | positive / negative / neutral |
| アノテーション方法 | 人間の数学専門家 |
| 公開日 | 2023年5月 |
| ライセンス | MIT |
自動 PRM（Math-Shepherd 方式）
人間アノテーションの高コストを解決するため、自動的にステップレベルラベルを生成する手法が開発されている。
Math-Shepherd（2024年）
中間ステップから推論を再開（ロールアウト）し、最終回答の正解率でステップの品質を近似推定する。
- 各ステップ $s_i$ から K 回のロールアウトを実行
- 最終回答が正解であるロールアウトの割合をステップスコアとする
- K = 16〜64 で人間ラベルに近い精度を達成
- コスト: 人間アノテーションの 1/1000 以下
自動 PRM の性能比較
| 手法 | MATH (Best-of-100) | ラベルコスト | 備考 |
|---|---|---|---|
| ORM | 72.4% | 低（自動） | ベースライン |
| PRM（人間ラベル） | 78.2% | 高（$数万） | OpenAI PRM800K |
| PRM（Math-Shepherd） | 76.8% | 低（自動） | ロールアウトベース |
| PRM（Monte Carlo） | 77.5% | 低（自動） | MCTS 応用 |
2025-2026年の発展
推論モデルでの統合
OpenAI o1/o3 や DeepSeek-R1 などの推論特化モデルでは、PRM のコンセプトが内部的な「思考過程の自己検証」として統合されている。Chain-of-Thought の各段階で暗黙的なステップ評価が行われ、誤った推論パスの早期修正が可能になっている。
コーディングタスクへの拡張
数学以外にも、コーディングタスク（SWE-Bench）での PRM 適用が進んでいる。コード変更の各ステップ（ファイル選択 → 変更箇所特定 → コード修正 → テスト実行）にステップレベルの報酬を付与し、デバッグ効率を向上させる研究が活発である。
Generalized PRM
タスク非依存のステップ評価モデル（Generalized PRM）の研究が進行中で、数学・コーディング・科学推論・日常推論を統一的に評価できる汎用 PRM の実現が2026年の重要な研究課題となっている。
よくある質問（FAQ）
Q1: PRM は ORM を完全に置き換えますか？ A: いいえ。PRM は段階的推論タスク（数学・コーディング・論理推論）で ORM を大幅に上回るが、創作・要約・対話等の非段階的タスクでは ORM で十分であり、PRM のアノテーションコストに見合わない。実務では タスク特性に応じて ORM と PRM を使い分ける。
Q2: PRM の訓練にはどのくらいのデータが必要ですか？ A: OpenAI の PRM800K（800,000ステップ）が標準的な規模だが、Math-Shepherd 方式の自動ラベリングであれば100,000ステップ程度でも実用的な精度が得られる。少量の人間ラベル（10,000ステップ）+ 大量の自動ラベル（100,000+）のハイブリッド方式が効率的である。
Q3: PRM を自社のLLMに導入するにはどうすればよいですか？ A: 最も手軽な方法は、公開されている PRM800K データセットで既存モデル（Llama 3.1 8B 等）を微調整することである。HuggingFace TRL の RewardTrainer がステップレベルラベルに対応しており、A100 1枚で約6時間で訓練可能。自動ラベリングには Math-Shepherd のロールアウト手法が推奨される。
まとめ
- PRM は推論の各ステップに報酬を付与し、誤った推論パスを早期検出する
- MATH ベンチマークで ORM 比 +6% の精度向上を実証（OpenAI）
- PRM800K（800,000ステップ）が標準訓練データセットとして公開
- Math-Shepherd 方式の自動ラベリングで人間アノテーションコストを 1/1000 以下に削減
- o1/o3/DeepSeek-R1 等の推論モデルでコア技術として統合済み