Bradley-Terryモデル（ブラッドリーテリーモデル）

Bradley-Terryモデルとは

Bradley-Terryモデル（BT モデル）は、ペアワイズ比較データから各項目の「強さ」を推定する統計モデルであり、LLM の報酬モデル訓練における標準的な損失関数の理論的基盤である。1952年に統計学者 Ralph Allan Bradley と Milton E. Terry が提案したこのモデルは、チェス・スポーツのレーティングシステム（Elo レーティング）と数学的に等価であり、2022年の InstructGPT 以降、RLHF パイプラインの中核手法として広く採用されている。

基本的な考え方は単純で、応答 A が応答 B に「勝つ」（選好される）確率を、各応答の報酬スコア r(A) と r(B) のシグモイド関数で表現する。

数学的定式化

基本モデル

応答 $y_w$（chosen, 勝者）が応答 $y_l$（rejected, 敗者）に選好される確率:

$$P(y_w \succ y_l | x) = \sigma(r(x, y_w) - r(x, y_l))$$

ここで $\sigma$ はシグモイド関数、$r(x, y)$ はプロンプト $x$ に対する応答 $y$ の報酬スコアである。

訓練損失関数

N 個のペアワイズ比較データ $\{(x_i, y_w^i, y_l^i)\}_{i=1}^N$ に対する負の対数尤度:

$$\mathcal{L}{BT} = -\frac{1}{N} \sum{i=1}^N \log \sigma(r(x_i, y_w^i) - r(x_i, y_l^i))$$

この損失を最小化することで、chosen 応答に高スコア、rejected 応答に低スコアを付与する報酬モデルが訓練される。

マージン付き損失

比較の「確信度」を反映するためにマージン項を追加した変種:

$$\mathcal{L}{margin} = -\frac{1}{N} \sum{i=1}^N \log \sigma(r(x_i, y_w^i) - r(x_i, y_l^i) - m_i)$$

$m_i$ は品質差の大きさに比例するマージンで、明確な選好ペアにはより大きな報酬差を要求する。Skywork-Reward モデルがこのマージン付き損失で RewardBench トップスコアを達成している。

Elo レーティングとの関係

Bradley-Terry モデルと Elo レーティングは数学的に等価であり、以下の対応関係がある。

LMSYS Chatbot Arena は BT モデルに基づく Elo レーティングシステムで LLM をランキングしており、2026年6月時点で GPT-4o が Elo 1290、Claude 3.5 Sonnet が 1272、Gemini 2.0 Flash が 1260 付近である。

実装例

PyTorch による BT 損失

import torch
import torch.nn.functional as F

def bradley_terry_loss(rewards_chosen, rewards_rejected):
    """Bradley-Terry pairwise ranking loss."""
    return -F.logsigmoid(rewards_chosen - rewards_rejected).mean()

マージン付き BT 損失

def bradley_terry_loss_with_margin(rewards_chosen, rewards_rejected, margins):
    """Margin-aware Bradley-Terry loss."""
    return -F.logsigmoid(rewards_chosen - rewards_rejected - margins).mean()

BT モデルの限界と発展

推移律の仮定

BT モデルは「A > B かつ B > C ならば A > C」という推移律を暗黙に仮定するが、人間の選好は必ずしも推移的ではない。例えば、「正確だが冗長な応答」と「簡潔だが不完全な応答」の選好は文脈に依存し、循環する場合がある。

発展的モデル

DPO との関係

DPO（Direct Preference Optimization）は BT モデルの閉形式解を利用して、報酬モデルを明示的に訓練せずにポリシーを直接最適化する手法である。BT モデルの下で最適な報酬関数は $r^(x, y) = \beta \log \frac{\pi^(y|x)}{\pi_{ref}(y|x)}$ であり、この関係を損失関数に代入することで RM 訓練を省略する。

よくある質問（FAQ）

Q1: BT モデルはなぜ RLHF で標準なのですか？ A: 数学的にシンプルで計算効率が高く、シグモイド関数の対数尤度は凸関数であるため最適化が安定するためである。また、Elo レーティングとの等価性により直感的な解釈が可能で、選好データからの学習に自然に適合する。

Q2: マージン付き損失はいつ使うべきですか？ A: アノテーションに「明確な勝ち」と「僅差の勝ち」の区別がある場合に有効である。HelpSteer2 のような詳細スコアリングデータで効果が大きく、単純なペアワイズ比較のみのデータでは通常の BT 損失で十分である。

Q3: BT モデル以外の損失関数はありますか？ A: ある。リストワイズ損失（ListMLE）、ヒンジ損失（max-margin）、InfoNCE 損失などが研究されている。ただし、BT 損失は実装の簡潔さ・安定性・実績から2026年現在も最も広く使用されている。

まとめ

• Bradley-Terry モデルは1952年提案のペアワイズ比較確率モデルで、LLM 報酬モデル訓練の標準損失関数
• 報酬スコア差のシグモイド関数で選好確率を表現し、負の対数尤度を最小化
• Elo レーティングと数学的に等価であり、Chatbot Arena のランキングシステムにも使用
• マージン付き損失で比較の確信度を反映し、性能向上が可能
• DPO は BT モデルの閉形式解を利用して RM 訓練を省略する手法