LMSYS Chatbot Arena の対戦形式を自動化し、複数の LLM を自己対戦させてEloレーティングを算出する評価手法。人間の投票を LLM ジャッジで代替することで大規模・高頻度なモデル評価を実現する。
LLM Arena Self-Play は、LMSYS の Chatbot Arena で確立された「2つのモデルの応答を匿名で比較し勝敗を決める」評価形式を、人間の投票なしに自動化するアプローチである。LLM ジャッジが人間の代わりに勝敗を判定し、Elo レーティングシステムでモデルの相対的な性能を定量化する。
LMSYS Chatbot Arena（2023年5月開始）は、2026年時点で累計 200万票以上の人間投票を集めた LLM 評価プラットフォームである：
| モデル | Elo スコア（2026年6月） | 順位 |
|---|---|---|
| GPT-4o | 1287 | 1 |
| Claude 3.5 Sonnet | 1271 | 2 |
| Gemini 1.5 Pro | 1260 | 3 |
| Llama-3.1-405B | 1220 | 8 |
| Mistral Large | 1205 | 12 |
人間投票ベースの Arena には以下の限界がある：
Arena Self-Play はこれらを LLM ジャッジで解決する。
| コンポーネント | 役割 | 実装例 |
|---|---|---|
| 質問バンク | 多様な評価質問を管理 | Arena-Hard-Auto: 500 質問 |
| モデル対戦 | 2モデルが同一質問に回答 | vLLM 並列推論 |
| LLM ジャッジ | 勝敗を判定 | GPT-4o / Claude 3.5 Sonnet |
| Elo 計算 | レーティングを更新 | Bradley-Terry モデル |
LMSYS が公開した自動アリーナ評価：
1. 質問プール準備（500-1000問）
↓
2. 全モデル × 全質問の応答生成（バッチ推論）
↓
3. 全ペア組み合わせの生成（nC2 ペア）
↓
4. LLM ジャッジで勝敗判定（位置バイアス軽減: AB/BA 2回評価）
↓
5. Bradley-Terry モデルで Elo 算出
↓
6. Bootstrap（1000回）で信頼区間算出
| バイアス種別 | 説明 | 対策 |
|---|---|---|
| 位置バイアス | 最初の応答を好む傾向 | AB/BA 反転で2回評価 |
| 冗長性バイアス | 長い応答を好む傾向 | 簡潔さも評価基準に明示 |
| 自己バイアス | 同一系列モデルを優遇 | 異なる系列のジャッジを使用 |
| スタイルバイアス | 特定の文体を好む傾向 | 多様なジャッジのアンサンブル |
| 評価方法 | 100モデル評価のコスト | 所要時間 | 人間との相関 |
|---|---|---|---|
| Chatbot Arena（人間投票） | $50,000-100,000 | 2-4週間 | 1.00（基準） |
| Arena-Hard-Auto（GPT-4o ジャッジ） | $50-100 | 2-4時間 | 0.94 |
| MT-Bench（GPT-4 ジャッジ） | $20-40 | 1-2時間 | 0.91 |
| AlpacaEval 2.0（GPT-4-Turbo） | $10-30 | 1時間 | 0.93 |
Q1: LLM ジャッジの評価は人間の評価と同じか？ A: 完全には一致しないが、Arena-Hard-Auto と人間投票の Elo 順位相関は Spearman ρ = 0.94 と非常に高い。ただし「ユーモア」「感情的共感」など主観的要素の評価は人間と乖離しやすい。
Q2: 自社モデルの評価に Arena Self-Play を使うべきか？ A: 推奨する。特に開発中のモデルの A/B テストに有用。ただし最終評価は Chatbot Arena や人間評価と併用すべき。自動評価のみに依存すると、ジャッジの死角に最適化されるリスクがある。
Q3: Arena Self-Play の質問はどう選ぶべきか？ A: 多様性・難易度・カテゴリバランスが重要。Arena-Hard-Auto の 500 問をベースに、自社のユースケースに特化した質問を 100-200 問追加するのが実用的。