Verifiable Reward（検証可能リワード）（ベリファイアブルリワードエルエルエム）
数学・コードなど正解が客観的に検証可能なタスクでLLMの推論を評価するリワード手法。実行結果やルールベース検証でスコアを算出し人間評価・LLM評価に依存しない。
Verifiable Reward（検証可能リワード）技術詳解
Verifiable Rewardとは
Verifiable Reward（検証可能リワード）は、正解が客観的に検証できるタスクを対象としたリワード設計手法である。従来のBradley-Terry型リワードモデルが人間の主観的判断に依存するのに対し、Verifiable Rewardはプログラム実行・数式検証・ルールベース判定など決定論的手段でスコアを算出する。
特徴:
- 人間アノテーターコストゼロ
- バイアスフリー（主観的好みが入らない）
- スケーラブル（自動化可能）
- 推論プロセスへの適用が容易
適用可能なタスク領域
| タスク | 検証手段 | 代表ベンチマーク |
|---|---|---|
| 数学推論 | 数式評価・最終答え照合 | MATH, GSM8K, AIME |
| コード生成 | ユニットテスト実行 | HumanEval, MBPP, LiveCodeBench |
| 論理推論 | 命題論理チェッカー | ProntoQA, StrategyQA |
| 化学合成 | 分子構造検証 | ChemBench |
| 形式証明 | Leanプルーフチェッカー | miniF2F, ProofNet |
DeepSeek-R1でのVerifiable Reward活用
DeepSeek-R1（2025年1月公開）はVerifiable Rewardを大規模活用して推論能力を飛躍的に向上させた代表例である。
学習プロセス:
- コールドスタート: 少量の長形式CoTデータでSFT
- GRPO with Verifiable Reward: 数学・コードタスクで強化学習
- 正解時: reward=+1.0
- 不正解時: reward=0.0
- フォーマット違反: reward=-0.1
- 拒否サンプリング + SFT: 高報酬軌跡を再学習
- 2段階RL: VerifiableとHuman Feedbackの組み合わせ
結果: AIME 2024で79.8%（GPT-4o: 9.3%）、Codeforces 2392 Eloを達成。
GRPOとの組み合わせ
Group Relative Policy Optimization（GRPO）はVerifiable Rewardと特に相性が良い強化学習アルゴリズム。
def grpo_with_verifiable_reward(prompt, policy_model, verifier):
responses = policy_model.generate(prompt, n=8, temperature=0.7)
rewards = [verifier.check(prompt, r) for r in responses]
mean_reward = sum(rewards) / len(rewards)
advantages = [r - mean_reward for r in rewards]
return policy_gradient_update(responses, advantages)
数学タスクでの検証実装例
from sympy import sympify, simplify
class MathVerifier:
def check(self, problem: str, response: str) -> float:
try:
answer = self._extract_boxed_answer(response)
expected = self._get_expected_answer(problem)
if simplify(sympify(answer) - sympify(expected)) == 0:
return 1.0
else:
return 0.0
except Exception:
return 0.0
Verifiable Rewardの限界と課題
1. 適用タスクの制限
- 創造的タスク（文章生成・翻訳等）には使えない
- 開放的質問（「良い人生とは」等）は検証不可
2. 解法ハッキング
- 正解を「記憶」するだけで推論能力が伸びない可能性
- Answer hackerサンプルの生成（特にCode generation）
3. テスト汚染
- ベンチマーク問題が学習データに含まれる問題
- LiveBench等の動的ベンチマークで対応中
よくある質問（FAQ）
Q1: Verifiable Rewardなしで推論モデルを作ることはできるか？ A: 可能だが品質が落ちる。QwQ・DeepSeek-R1・o1等の主要推論モデルはいずれもVerifiable Rewardを核心的コンポーネントとして採用しており、実質的なデファクトスタンダードとなっている。
Q2: 数学推論以外の適用例はあるか？ A: コード生成（ユニットテスト実行）・形式証明（Lean/Isabelle）・化学合成（分子検証）等が実用化されている。2025年には医療診断（ICD-10コード照合）への応用研究も進んでいる。
Q3: Process Reward Model（PRM）とどう違うか？ A: PRMはステップごとに報酬を与えるがVerifiable Rewardは最終結果のみ評価する（Outcome Reward）。PRMは人間ラベリングが必要なのに対し、Verifiable Rewardは完全自動化できる点が大きな利点。