AI・機械学習
上級
OpenAI PRM800K（オープンエーアイピーアールエムハッピャクマンケー）
OpenAIが2023年に公開した数学推論ステップの人手アノテーションデータセット。75万以上の解法ステップに「正しい」「中立」「誤り」の3クラスラベルを付与し、Process Reward Modelの研究基盤となった。
0 回閲覧
0 いいね
2026/6/6 更新
関連タグ
PRM800K
OpenAI
数学推論
データセット
ステップアノテーション
リワードモデル
OpenAI PRM800Kとは
PRM800Kは、OpenAIが2023年の論文「Let's Verify Step by Step」と共に公開した数学推論評価データセットです。75万以上の推論ステップに人手ラベルが付与されており、Process Reward Model（PRM）研究の出発点となりました。
データセットの構成
規模とラベル
- 総ステップ数: 約800,000（約75万）
- 問題元: MATHデータセット（競技数学問題集）
- ラベルクラス: 3クラス（positive/neutral/negative）
| ラベル | 意味 | 割合（概算） |
|---|---|---|
| positive | このステップは正しく有効 | ~60% |
| neutral | このステップは判断保留 | ~10% |
| negative | このステップには誤りがある | ~30% |
生成プロセス
- MATHデータセットの問題をGPT-4に解かせる
- GPT-4が生成したCoT（Chain-of-Thought）を各ステップに分割
- 人間アノテーターが各ステップを3クラスで評価
- 品質管理のため複数アノテーターでクロスチェック
論文の核心的発見
PRM vs ORM 比較実験
OpenAIはPRM800Kで訓練したPRMと、従来のORM（最終答えのみ評価）を比較しました：
MATH-500ベンチマーク（Best-of-N選択）
| サンプル数N | ORM精度 | PRM精度 | PRM優位幅 |
|---|---|---|---|
| N=1 | 49.9% | 49.9% | ±0 |
| N=4 | 56.2% | 61.4% | +5.2% |
| N=16 | 60.1% | 68.9% | +8.8% |
| N=256 | 63.5% | 78.2% | +14.7% |
Nが増えるほどPRMの優位性が拡大する点が重要で、推論時計算スケーリングの有効性を示しています。
データ公開とライセンス
PRM800KはMITライセンスでGitHubに公開されており、研究者が自由に利用できます。ただし：
- 商用利用前にOpenAIの利用規約確認が推奨
- MATHデータセット自体のライセンスにも依存
- GPT-4生成データを含むため、一部AI利用規約の考慮が必要
後続研究への影響
PRM800Kの公開は数学推論LLM研究に大きな影響を与えました：
- Math-Shepherd（2024）: 人手不要の自動アノテーション手法を開発
- Skywork-o1-PRM（2024）: PRM800Kで初期訓練→ドメイン適応
- OmegaPRM（DeepMind, 2024）: MCTSを用いた高品質版PRM
- DeepSeek-R1（2025）: 類似のPRM思想で数学推論を強化
限界と批判
- 規模の限界: 75万ステップはMathの多様性には十分でない部分もある
- GPT-4依存: 元のCoTがGPT-4生成のため、GPT-4の偏りを引き継ぐ
- MATHドメイン特化: 他の推論タスク（コーディング等）への汎化は不明
- コスト: 人手アノテーションの再現には膨大な費用が必要
これらの限界を克服するため、後続研究は自動アノテーションへと発展しました。