Eurus-2-PRIME（エウロス ツー プライム）
UltraInteractが開発したProcess Reward Implicit Model Evolutionの略称。プロセス報酬モデル（PRM）と反復的自己改善を組み合わせ、数学推論の中間ステップ品質を強化学習で継続的に向上させるフレームワーク。Eurus-2-7B-PRIMEはAIME 2024で26.7%・AMC 2023で57.5%を達成。
Eurus-2-PRIME とは
Eurus-2-PRIMEは、UltraInteract（Yulan-Team/Renmin University）が2024年に発表した数学LLMの強化学習フレームワーク。PRIMEは「Process Reward Implicit Model Evolution」の略で、数学推論の各中間ステップの品質を暗黙的なプロセス報酬モデル（Implicit PRM）で評価し、強化学習によって継続的に改善する仕組みを指す。
PRMとOutcome Reward Modelの違い
Outcome Reward Model（ORM）: 最終回答の正誤だけで報酬を計算。偶然正解した誤推論過程が強化される問題がある。
Process Reward Model（PRM）: 各推論ステップを個別に評価。ただし人間アノテーターによるステップ評価データが高コスト。
PRIME（Implicit PRM）: 人間ラベルなしに、参照モデルとオンラインポリシーの対数確率比でステップ品質を推定：
PRM_score(s_t) = log P_online(s_t | context) - log P_ref(s_t | context)
正のスコア → 良いステップ / 負のスコア → 誤りを含む可能性
性能（2024年末時点）
| モデル | AIME 2024 | AMC 2023 | MATH-500 | LeetCode |
|---|---|---|---|---|
| Eurus-2-7B-PRIME | 26.7% | 57.5% | 79.2% | 58.9% |
| Qwen2.5-Math-7B-Instruct | 16.7% | 47.5% | 79.8% | 47.0% |
| GPT-4o (2024-11) | 9.3% | 48.8% | 74.6% | 59.4% |
7Bモデルながら特にAIME・AMCでQwen2.5-Math-7Bを大幅上回り、GPT-4oと競合する。
学習パイプライン
- UltraInteract-v2データセット: 数学・コーディング問題の多様なトレジェクトリを含む大規模SFTデータ
- SFT: ベースモデル（Qwen2.5-Math）をUltraInteract-v2でファインチューニング
- Online PRIMEループ:
- ポリシーモデルが複数の解答パスをサンプリング
- Implicit PRMがステップ品質をスコアリング
- PPO系の強化学習でポリシーを更新
- 更新済みポリシーを参照モデルとして次イテレーションへ
後継研究への影響
- DAPO（DeepSeek）: 同様のオンライン強化学習フレームワーク
- STILL-2: Slow Thinkingとの組み合わせ
- Qwen3（2025年）: 大規模PRMデータで学習したモデルファミリー
FAQ
Q: PRIMEのポリシーモデルのベースは何か？ A: Eurus-2-7B-PRIMEはQwen2.5-Math-7B-InstructをベースにSFT後にPRIMEループを適用。
Q: PRIMEは数学以外に適用できるか？ A: コーディング問題にも適用可能（LeetCodeでの評価がそれを示す）。明確な正誤判定があるドメインで特に有効。
Q: Implicit PRMはなぜアノテーションなしで機能するか？ A: 参照モデルとオンラインモデルの対数確率差が「自信を持って生成できるステップか否か」を近似測定するため。大量問題で平均化するとノイズが相殺される。