AI・機械学習
上級
Let's Verify Step by Step（レッツベリファイステップバイステップ）
OpenAIが2023年に発表したPRM（Process Reward Model）の有効性を実証した論文。LLMの数学推論において最終回答ではなく各推論ステップを評価するリワードモデルが大幅な精度改善をもたらすことを初めて大規模に示した。
0 回閲覧
0 いいね
2026/6/6 更新
関連タグ
Let's Verify Step by Step
OpenAI
PRM
論文
数学推論
Test-Time Compute
Let's Verify Step by Step とは
「Let's Verify Step by Step」は、OpenAIのHunter Lightman、Vineet Kosaraju等が2023年に発表し、NeurIPS 2023に採択された論文です。LLMの数学推論評価において、Process Reward Model（PRM）がOutcome Reward Model（ORM）を大幅に上回ることを初めて大規模実証し、現代の推論LLM研究の基礎を作りました。
論文の主要主張
中心的仮説
「最終答えの正誤だけでなく、推論過程の各ステップを評価することで、LLMの数学推論能力を大幅に向上させられる」
実験設計
- モデル: GPT-4（PRMの評価対象）
- データセット: MATH（Hendrycks et al., 竞技数学問題）
- 評価手法: Best-of-N選択（N個の解法からリワードモデルが最良を選択）
- 訓練データ: PRM800K（75万ステップ、人手ラベル）
核心的発見
Best-of-N実験結果
MATH-500ベンチマーク（GPT-4で解法生成）
N=1: ORM=49.9% PRM=49.9% 差= 0.0%
N=4: ORM=56.2% PRM=61.4% 差= +5.2%
N=16: ORM=60.1% PRM=68.9% 差= +8.8%
N=64: ORM=62.3% PRM=75.0% 差=+12.7%
N=256: ORM=63.5% PRM=78.2% 差=+14.7%
重要な観察：Nが増えるほど差が拡大。これは「より多く試してPRMで選ぶ」という推論時スケーリングの有効性を示しています。
ORMの落とし穴
論文はORMのハッキング（Reward Hacking）問題を指摘しました：
- ORMはN=256以上でほぼ改善しない（頭打ち）
- 一方PRMはNを増やすほど精度が向上し続ける
- ORMは「それらしい最終答え」を返す解法を過大評価する傾向
論文の影響
短期的影響（2023-2024年）
- PRM800Kの公開: 研究コミュニティに訓練データを提供
- Math-Shepherd: 自動アノテーションでコストを解決
- PRMベンチマーク整備: ProcessBench等の評価基盤構築
長期的影響（2024-2025年）
- OpenAI o1: 内部でPRM類似の仕組みを活用（公式未確認だが研究文脈から推測）
- DeepSeek-R1: 推論チェーンの品質制御にPRM思想を適用
- Test-Time Compute: 「推論時に計算を増やすとスケール」の根拠論文として引用多数
引用状況
2026年時点での引用数は2,000件超（Google Scholar）。2023年LLM分野で最も影響力のある論文の一つとされています。
論文情報
| 項目 | 詳細 |
|---|---|
| タイトル | Let's Verify Step by Step |
| 著者 | Hunter Lightman, Vineet Kosaraju et al. |
| 組織 | OpenAI |
| 年 | 2023 |
| 会議 | NeurIPS 2023 |
| ArXiv | 2305.20050 |
| データセット | PRM800K（同時公開） |
実践的意義
自作PCや高性能LLMサーバーを構築するエンジニアにとって、この論文はローカルLLM（Ollama/llama.cpp）のパラメータ設定に示唆を与えます：
num_predict（生成トークン数）を増やしてBest-of-N効果を得る- 複数回生成→PRMで選択するパイプラインをローカルで構築可能
- MATH問題の精度検証にPRM800Kを活用できる