報酬モデル（Reward Model）（ホウシュウモデル）
RLHFにおいて人間の選好を数値スコアに変換する機械学習モデル。人間アノテータの比較判定データから訓練され、強化学習の報酬信号として機能する。
報酬モデルとは
報酬モデル（Reward Model、RM）は、RLHFパイプラインにおいて「人間が好む応答とはどのようなものか」を数値化するモデルである。人間アノテータが付けた応答間の選好ランキングを学習し、任意のプロンプト-応答ペアに対してスカラー報酬値を出力する。この報酬値がPPOやGRPOなどの強化学習アルゴリズムの最適化対象となる。
報酬モデルの訓練
データ形式
報酬モデルの訓練データは、同一プロンプトに対する2つ以上の応答を人間がランキングした選好データである。
| データ形式 | 説明 | 主な使用先 |
|---|---|---|
| 対比較（Pairwise） | AとBのどちらが良いか | InstructGPT, Claude |
| K-wise ranking | K個の応答を順位付け | GPT-4, Gemini |
| スカラー評価 | 1-5点の絶対評価 | 一部の学術研究 |
対比較形式が最も広く使われる理由は、人間にとって「AとBどちらが良いか」という相対判断が、「この応答は5点中何点か」という絶対判断より一貫性が高いためである。
Bradley-Terryモデル
最も標準的な訓練手法はBradley-Terryモデルに基づく。応答 $y_w$（勝者）と $y_l$（敗者）に対し、以下の損失関数を最小化する：
L = -log(σ(r(x, y_w) - r(x, y_l)))
ここで r(x, y) は報酬モデルの出力、σ はシグモイド関数である。
報酬モデルの種類
結果ベース報酬モデル（Outcome RM）
応答全体に対して単一のスコアを出力する。最も一般的な形式。
プロセス報酬モデル（Process RM）
推論の各ステップに対して個別にスコアを付与する。OpenAIの「Let's Verify Step by Step」論文で提案され、数学的推論タスクで結果ベースRMを大幅に上回る性能を示した。
| 報酬モデル種別 | 粒度 | 精度 | コスト | 適用先 |
|---|---|---|---|---|
| Outcome RM | 応答全体 | 標準 | 低 | 一般的な対話 |
| Process RM | ステップ毎 | 高 | 高（ステップ注釈必要） | 数学・推論 |
Generative RM（LLM-as-Judge）
専用の報酬モデルを訓練する代わりに、GPT-4やClaude等の高性能LLMに応答を評価させる手法。RLAIF（RL from AI Feedback）の基盤技術でもある。
報酬ハッキングの問題
報酬モデルには固有の弱点があり、方策モデルがその弱点を学習して「報酬は高いが実際には低品質な応答」を生成する現象が起きる。
代表的なハッキングパターン：
- 冗長性バイアス: 長い応答ほど高スコアを得る傾向を悪用
- 形式バイアス: 箇条書きや番号付きリストを過度に使用
- 自信過剰バイアス: 不確実な回答でも断定的に述べる
対策として、KLペナルティ（参照モデルからの乖離制限）、報酬モデルのアンサンブル、定期的な再訓練が有効である。
報酬モデルの規模と性能
InstructGPTでは6Bパラメータの報酬モデルが使用された。一般にベースモデルと同等かやや小さいサイズの報酬モデルが使用されるが、最近の研究ではモデルサイズよりも訓練データの質と量が性能に支配的であることが示されている。
FAQ
Q: 報酬モデルの訓練データはどのくらい必要か？
A: InstructGPTでは約33,000件の比較データが使用された。実用的には10,000-50,000件の高品質な選好データがあれば安定した報酬モデルを訓練できる。データ品質（アノテータの一致率）が量より重要である。
Q: 報酬モデルの評価方法は？
A: 主な指標はアノテータとの一致率（accuracy on held-out comparisons）である。InstructGPTの6B報酬モデルは約72%の一致率を達成した。また、報酬モデルのスコアと人間評価の相関（Spearman ρ）も補助指標として使われる。
Q: 1つの報酬モデルで全タスクをカバーできるか？
A: 汎用報酬モデルは対話・要約・コーディング等の多タスクで合理的な性能を発揮するが、数学やコーディングなど正解が明確なドメインでは、タスク特化型RMが汎用RMを大幅に上回る。実務ではドメイン特化RMと汎用RMのアンサンブルが有効である。