AI・機械学習
上級
Skywork-o1-PRM（スカイワークオーワンピーアールエム）
Skywork AIが2024年末に公開したオープンソースのProcess Reward Model。Qwen2.5-Mathをベースに多段階訓練でPRMを構築し、MATH等の数学推論ベンチマークでトップ水準の性能を示す。商用利用可能なオープンPRMの代表実装。
0 回閲覧
0 いいね
2026/6/6 更新
関連タグ
Skywork-o1
PRM
オープンソース
Qwen2.5-Math
数学推論
推論LLM
Skywork-o1-PRMとは
Skywork-o1-PRMは、Skywork AI（昆仑万维のAI研究部門）が2024年末に公開したProcess Reward Modelです。商用利用可能なオープンソースPRMとして、研究者・開発者が独自の推論LLMシステムを構築する際のベースとして活用されています。
モデル仕様
| 項目 | 詳細 |
|---|---|
| モデル名 | Skywork-o1-Open-PRM-Qwen-2.5-7B |
| ベースモデル | Qwen2.5-Math-7B |
| パラメータ数 | 70億（7B） |
| ライセンス | Apache 2.0（商用利用可） |
| 公開場所 | HuggingFace Hub |
| 特化ドメイン | 数学推論（MATH/GSM8K/AIME） |
訓練パイプライン
多段階訓練
Phase 1: 事前訓練データ
├── PRM800K（OpenAI公開）
├── Math-Shepherd（自動アノテーション）
└── 数学CoTデータ
Phase 2: Skywork固有データでファインチューニング
├── Qwen2.5-Mathで生成した推論チェーン
├── MCTS自動アノテーション
└── 難問特化データ（AIME/AMC）
Phase 3: 品質フィルタリング
├── 人手ラベル少量でキャリブレーション
└── スコア分布の正規化
損失関数
Skywork-o1-PRMは分類ヘッドを追加したLLMとして実装されており、各ステップトークンに対してpositive/negativeのバイナリ分類損失を適用します。
ベンチマーク性能
PRMとしての評価（ProcessBench）
ProcessBenchはPRMの評価に特化したベンチマークで、各ステップのラベル予測精度を測定します：
| モデル | ProcessBench F1 |
|---|---|
| Skywork-o1-PRM-7B | 74.2% |
| Math-Shepherd-7B | 68.5% |
| PRM800K再訓練版 | 65.3% |
推論精度への貢献（Best-of-N）
Qwen2.5-Math-7B-Instructと組み合わせた場合：
| ベンチマーク | N=1 | N=8（Skywork-PRM） | 改善 |
|---|---|---|---|
| MATH500 | 82.6% | 89.4% | +6.8% |
| AIME2024 | 20.0% | 36.7% | +16.7% |
実際の使い方
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
# モデルロード
model_name = "Skywork/Skywork-o1-Open-PRM-Qwen-2.5-7B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
model_name, torch_dtype=torch.float16
).eval()
# ステップスコア計算
def score_step(problem, solution_steps):
"""各ステップのリワードスコアを計算"""
prompt = format_prm_prompt(problem, solution_steps)
inputs = tokenizer(prompt, return_tensors="pt")
with torch.no_grad():
outputs = model(**inputs)
# 分類ヘッドのlogitからpositive確率を取得
step_scores = extract_step_scores(outputs)
return step_scores
オープンソースエコシステムでの位置づけ
2024-2025年のオープンソース推論LLMエコシステムでは：
- 生成モデル: DeepSeek-R1, QwQ-32B, Skywork-o1-mini
- PRMモデル: Skywork-o1-PRM, Math-Shepherd, OmegaPRM
- 評価ツール: ProcessBench, PRM-Benchmark
Skywork-o1-PRMはこのスタック内で「オープンで商用利用可能な高品質PRM」という重要なポジションを占めています。