Math-Shepherd自動PRM（マスシェパードジドウピーアールエム）

Math-Shepherd自動PRMとは

Math-Shepherdは、2024年に上海AI研究院（SAIR）が発表したProcess Reward Model（PRM）の自動アノテーション手法です。従来、PRMの訓練には各推論ステップへの人手ラベルが必要で、OpenAIのPRM800Kのように莫大なコストがかかっていました。Math-Shepherdはモンテカルロ推定を用いてこのプロセスを完全自動化します。

核心アイデア：完成ベースのステップ評価

基本原理

各ステップ$s_i$のリワードスコアを直接人間がラベル付けする代わりに、そのステップから複数の「完了パス」をサンプリングし、正解到達確率でスコアを推定します。

ステップ s_i が与えられた時:
  N個の完了パスをサンプリング
  正解に到達したパス数 = k
  score(s_i) = k / N

これは「このステップから正しい答えに辿り着ける確率」を近似しています。

アルゴリズムの流れ

def annotate_step(problem, partial_solution, step_i, n_samples=8):
    """ステップi のリワードを自動計算"""
    completions = []
    for _ in range(n_samples):
        # ステップiから続きを生成
        completion = llm.generate(problem + partial_solution)
        # 最終答えが正解かチェック
        is_correct = check_answer(completion)
        completions.append(is_correct)
    
    # 正解率 = ステップiのリワードスコア
    return sum(completions) / n_samples

データセット規模と品質

Math-Shepherdは以下のデータセットを自動構築しました：

• GSM8K由来: 約200万ステップ
• MATH由来: 約550万ステップ
• 合計: 約750万ステップにラベル付与
• 人手コスト: ほぼゼロ（LLMサンプリングのみ）

OpenAIのPRM800K（75万ステップ、人手ラベル）と比較して約10倍の規模を低コストで達成しています。

実験結果

WizardMath-7Bへの適用

LLaMA-2-7Bへの適用

制限と課題

サンプリングバイアス

• n_samples（通常8）が少ないと確率推定が不正確
• 特に難問ではLLM自体が解けないため、全パスが不正解になり「ステップが悪い」と誤判定

コスト

• 各ステップでN回生成するため、データ収集に計算コストが必要
• ただし人手アノテーションより桁違いに安い

後継手法との比較

Math-Shepherdは自動PRMデータ収集の先駆けとして、その後の多くの研究に影響を与えました。