LMSYS Chatbot Arena（エルエムシス チャットボットアリーナ）
UC Berkeley の LMSYS Org が運営する LLM のクラウドソーシング型対戦評価プラットフォーム。匿名ブラインドテストで Elo レーティングを算出し、モデル間の実力差を統計的に可視化する。
LMSYS Chatbot Arena とは
LMSYS Chatbot Arena は UC Berkeley の Large Model Systems Organization（LMSYS Org）が 2023 年に公開した、大規模言語モデル（LLM）のクラウドソーシング型ベンチマークプラットフォームである。ユーザーが 2 つの匿名モデルに同一プロンプトを入力し、好ましい回答を選ぶ ブラインド対戦（blind pairwise comparison） 方式で評価データを収集する。
Elo レーティングの仕組み
Arena ではチェスの Elo レーティングと同じ原理を LLM 評価に転用している。各モデルに初期レートを与え、対戦結果に基づいてレートを更新する。勝率の期待値と実測値のずれが大きいほどレート変動が大きくなるため、格上モデルに勝つと大幅にレートが上昇する。2026 年時点で累計 200 万票以上の対戦結果が蓄積されており、統計的信頼性が高い。
| 要素 | 説明 |
|---|---|
| 初期レート | 全モデル共通のベースライン値（通常 1000） |
| K ファクター | 1 対戦あたりのレート変動幅を制御するパラメータ |
| 収束条件 | 十分な対戦数（通常 500 票以上）でレートが安定 |
| 信頼区間 | Bradley-Terry モデルで 95% 信頼区間を算出 |
評価カテゴリ
Arena は汎用対話能力だけでなく、複数の専門カテゴリで独立したリーダーボードを提供する。
- Hard Prompts: 複雑な推論・多段階タスクに特化した難問セット
- Coding: プログラミング問題の生成・デバッグ能力
- Math: 数学的推論・証明・計算能力
- Instruction Following: 指示遵守の正確さ（フォーマット指定・制約条件）
- Multi-turn: 複数ターンの文脈維持・一貫性
- Vision: 画像理解を含むマルチモーダル評価
学術的意義と限界
Arena の最大の強みは 人間の主観的選好 を大規模に集約できる点にある。自動ベンチマーク（MMLU 等）では測定困難な「回答の自然さ」「説明の分かりやすさ」を反映できる。一方、評価者の偏り（英語話者中心・技術者寄り）、長文回答への選好バイアス、対戦数の偏り（人気モデルに集中）といった限界も指摘されている。
FAQ
Q1: Arena のスコアは絶対的な性能指標か？
Elo レーティングはあくまで 相対的な序列 を示す指標であり、絶対的な能力値ではない。評価者プールの構成やプロンプト分布によってスコアが変動するため、他のベンチマークと併用して総合的に判断すべきである。
Q2: 自分のモデルを Arena に登録できるか？
LMSYS Org に申請して審査を通過すれば登録可能である。API エンドポイントを提供し、一定の応答速度要件を満たす必要がある。オープンソースモデルは比較的容易に登録できるが、プロプライエタリモデルは利用規約との整合確認が求められる。
Q3: Arena と MT-Bench の違いは？
MT-Bench は LMSYS が開発した 自動評価 ベンチマーク（GPT-4 が審判）で、固定質問セット 80 問に対するスコアリングを行う。Arena は人間評価・対戦形式・動的プロンプトという点で根本的に異なる。両者は相補的に使われる。