LLMの出力品質を数値スコアで評価する報酬モデル（Reward Model）を訓練し、RLHF・DPO等の選好最適化パイプラインで活用する技術体系。人間のフィードバックを機械学習可能な信号へ変換する中核コンポーネントである。
LLM報酬モデリング（Reward Modeling）は、大規模言語モデル（LLM）の出力に対して人間の選好を反映したスコアを付与する**報酬モデル（Reward Model, RM）**を構築する技術である。RLHF（Reinforcement Learning from Human Feedback）パイプラインの中核を担い、ChatGPT・Claude・Gemini など主要 LLM の品質向上に不可欠な役割を果たしている。
報酬モデルの基本的な仕組みは、同一プロンプトに対する複数の応答を人間が比較・ランク付けした**選好データ（Preference Data）**を教師信号として、どの応答がより「良い」かを予測するモデルを訓練することである。2026年現在、OpenAI の InstructGPT 論文（2022年）で確立された手法が発展を続け、Anthropic の Constitutional AI、Google DeepMind の Gemini Ultra、Meta の Llama 3.1 など、事実上すべての最先端 LLM が何らかの形で報酬モデリングを採用している。
報酬モデルは一般的に、事前学習済み LLM をバックボーンとし、最終層にスカラー値を出力する**報酬ヘッド（Reward Head）**を追加した構造を持つ。
hidden_dim → 1）[prompt, response] のペアを連結してトークン化し、最終トークンの隠れ状態から報酬スコアを算出| モデル | パラメータ数 | ベースモデル | 用途 | 特徴 |
|---|---|---|---|---|
| OpenAI RM | 非公開（推定6B） | GPT-4ベース | InstructGPT/ChatGPT | ペアワイズ比較 + 6段階スケール |
| Anthropic RM | 非公開 |
| Claude系列 |
| Constitutional AI |
| 原則ベース自動評価併用 |
| Nemotron-4 340B RM | 340B | Nemotron-4 | Llama 3.1 訓練データ合成 | RewardBench 1位（2024年） |
| ArmoRM-Llama3-8B | 8B | Llama 3 8B | 汎用報酬モデル | 多目的報酬ヘッド（19次元） |
| Skywork-Reward-Gemma-2-27B | 27B | Gemma 2 27B | RewardBench | Bradley-Terry + マージン損失 |
報酬モデルの品質は訓練データの質に直結する。選好データの収集方法は以下の3パターンに大別される。
最も信頼性が高い方法だが、コストも最大である。OpenAI は InstructGPT の訓練に約40人のアノテーターを雇用し、約33,000件の比較データを収集した。1件あたりのアノテーションコストは$1〜$5程度で、大規模データセット構築には数百万ドル規模の投資が必要となる。
Anthropic が提唱した Constitutional AI では、人間の代わりに LLM 自体が選好判定を行う。2026年現在、Google の RLAIF（Reinforcement Learning from AI Feedback）研究により、AI 生成フィードバックが人間フィードバックと同等以上の性能を達成できることが示されている。
NVIDIA の Nemotron-4 340B は、合成データ生成と報酬モデリングを組み合わせた HelpSteer2 パイプラインを構築し、Llama 3.1 の訓練データ品質向上に貢献した。
報酬モデルの性能評価には複数の指標が使用される。
| 指標 | 説明 | 目標値 |
|---|---|---|
| Pairwise Accuracy | 選好ペアの正答率 | > 70% |
| RewardBench Score | 標準ベンチマーク総合スコア | > 90% |
| Chat / Safety / Reasoning | RewardBench サブカテゴリ | 各 > 85% |
| Kendall τ | ランキング相関係数 | > 0.5 |
| Calibration Error | スコアの校正誤差 | < 0.1 |
RewardBench（2024年 Allen AI 公開）は報酬モデルの標準ベンチマークとして広く採用されており、Chat・Chat-Hard・Safety・Reasoning の4カテゴリで評価する。2026年6月時点のトップモデルは Skywork-Reward-Gemma-2-27B（総合スコア 93.8）である。
RL 訓練中にポリシーモデルが報酬モデルの脆弱性を悪用し、人間の意図に反する高スコア応答を生成する現象。対策として以下が有効である。
訓練データの分布と RL 探索中の応答分布が乖離すると、RM の予測精度が低下する。Anthropic の研究では、報酬モデルの訓練データ外での精度が20〜30%低下することが報告されている。
Q1: 報酬モデルと DPO の違いは何ですか？ A: 報酬モデルは明示的なスコアリング関数を訓練し PPO 等の RL アルゴリズムと組み合わせる（RLHF）のに対し、DPO（Direct Preference Optimization）は報酬モデルを介さず選好データから直接ポリシーを最適化する。DPO は RM 訓練のコストを省略できるが、報酬ハッキング耐性や汎化性能で RLHF に劣る場面もある。
Q2: 報酬モデルの訓練にはどの程度のデータが必要ですか？ A: 一般的に10,000〜100,000件のペアワイズ比較データが推奨される。InstructGPT は約33,000件、Llama 2 は約100万件の比較データを使用した。データ量よりもアノテーションの一貫性（Inter-Annotator Agreement > 0.7）が品質に直結する。
Q3: 小規模チームでも報酬モデリングは実践できますか？ A: 可能である。HuggingFace の TRL ライブラリで RM 訓練が数行のコードで実装でき、UltraFeedback（約64,000件）等の公開データセットを活用すれば、8B パラメータの RM を A100 1枚で約4時間で訓練できる。RLAIF を組み合わせれば、人間アノテーションなしでも実用的な RM を構築可能である。