Bradley-Terryリワードモデル（ブラッドリーテリーリワードモデル）
LLMの強化学習から人間フィードバック（RLHF）で使用される比較ベースの報酬モデル。2つの出力の優劣比較データから絶対スコアを学習するペアワイズ手法。
Bradley-Terryリワードモデル 技術ガイド
Bradley-Terryモデルの数学的基礎
Bradley-Terryモデルは1952年にRalph Bradley とMilton Terryが提案した確率的比較モデルである。各アイテムiに強さスコアλ_i > 0を割り当て、2アイテム比較における勝率を以下で表現する。
P(i beats j) = λ_i / (λ_i + λ_j)
LLMのリワードモデルへの応用では、λ_iを応答の質スコアとして解釈する。ロジット形式では。
log P(y_w > y_l | x) = r(x, y_w) - r(x, y_l)
ここでr(x, y)はプロンプトxに対する応答yのスカラー報酬スコア、y_wが選好応答、y_lが非選好応答である。
学習目標（損失関数）
Bradley-Terry RMの標準的な学習損失はBinary Cross-Entropyである。
loss = -log(sigmoid(r_winner - r_loser))
具体的な実装例。
import torch
import torch.nn as nn
class BradleyTerryRMLoss(nn.Module):
def forward(self, r_winner: torch.Tensor, r_loser: torch.Tensor) -> torch.Tensor:
logit = r_winner - r_loser
return -nn.functional.logsigmoid(logit).mean()
RLHFパイプラインでの位置づけ
Bradley-Terry RMはRLHFの3ステップパイプラインの中核を担う。
Step 1: 教師ありファインチューニング（SFT）
- 高品質デモデータでLLMをファインチューニング
Step 2: リワードモデル学習（Bradley-Terry RM）
- 人間アノテーターがA/B比較を実施
- Bradley-TerryモデルでRMを学習
- 比較ペア数: InstructGPT=13万件、LLaMA2-Chat=100万件以上
Step 3: 強化学習（PPO）
- RM報酬信号でLLMをPPO最適化
- KLペナルティでSFTからの発散を抑制
主要採用モデルと実績
| モデル | 組織 | 比較ペア数 | RMサイズ |
|---|---|---|---|
| InstructGPT | OpenAI | ~13万 | 6B |
| LLaMA2-Chat | Meta | ~100万 | 70B |
| Gemini RLHF | 非公開 | 非公開 | |
| Claude (初期) | Anthropic | 非公開 | 非公開 |
| Qwen2-72B-Instruct | Alibaba | 非公開 | 72B |
Bradley-Terry RM の限界
1. 推移律違反（Non-transitivity）
- AよりB、BよりCが好まれても、AよりCが好まれるとは限らない
- 特に創造的タスクや多様な品質軸で顕著
2. コンテキスト独立性の欠如
- スコアはプロンプト依存だが比較は2択のみ
- 複雑な指示への部分的適合を表現できない
3. アノテーターバイアス
- 長い応答・フォーマットへのヒューリスティック好み（Sycophancy）
- アノテーター間の不一致（Inter-Annotator Agreement問題）
4. Reward Hacking
- PPO最適化でRMを「だます」応答を生成（Goodhartの法則）
- 長文・特定フォーマットへの過剰最適化
改善手法の比較
| 手法 | Bradley-Terry拡張 | 主な利点 |
|---|---|---|
| Mixture RM | 複数アノテータモデル | バイアス軽減 |
| Elo-based RM | 動的スコア更新 | 連続学習対応 |
| Multi-attribute RM | 複数スコア軸 | 細粒度評価 |
| Generative RM | テキスト生成型 | 説明可能性 |
| Process RM | ステップ別評価 | 推論プロセス評価 |
よくある質問（FAQ）
Q1: Bradley-TerryモデルはなぜRLHFで主流なのか？ A: シンプルな数学的定式化・実装の容易さ・比較データとの相性の良さから、InstructGPT論文（2022）での採用以降デファクトスタンダードとなった。損失関数がBCEの1行で記述できる簡潔さも普及を後押しした。
Q2: ペアワイズ比較データの収集コストはどの程度か？ A: 1比較ペアのアノテーションに約30秒〜3分。1万ペアで約250〜1,500時間分の人件費が必要。これがDPO等の合成データ活用手法の台頭を促した背景でもある。
Q3: Reward Hackingをどう防ぐか？ A: KLペナルティ（β=0.01〜0.1）でSFTからの発散を抑制、RMアンサンブルで特定モデルへの過適合を軽減、定期的なRM更新で動的に対処する。