LLMリーダーボード（エルエルエムリーダーボード）
LLMの性能を複数のベンチマークスコアに基づいてランキング形式で一覧表示するウェブサービス。HuggingFace Open LLM Leaderboard や LMSYS Chatbot Arena が代表的で、モデル選定の参考指標として広く利用されている。
LLMリーダーボードとは
LLM リーダーボードは、複数の大規模言語モデルの性能をベンチマークスコアに基づいてランキング形式で公開するプラットフォームである。モデル開発者にとっては自社モデルの位置づけを示す手段であり、利用者にとってはモデル選定の参考指標として機能する。
主要なリーダーボード
| リーダーボード | 運営 | 評価方式 | 特徴 |
|---|---|---|---|
| Open LLM Leaderboard v2 | HuggingFace | 自動ベンチマーク | オープンモデル最大のランキング。6ベンチマーク |
| Chatbot Arena | LMSYS | 人間の選好投票 | 匿名対決でEloレーティング。最も信頼性が高い |
| LiveBench | LiveBench チーム | 動的ベンチマーク（月次更新） | 汚染対策として問題を定期更新 |
| AlpacaEval 2.0 | Stanford | LLM-as-Judge | GPT-4 が評価。Length-controlled で公平性向上 |
| WildBench | AI2 | 実世界タスク | 実ユーザーのプロンプトで評価 |
| Big Code Models | HuggingFace | コード生成 | HumanEval/MBPP でのコード生成能力ランキング |
Open LLM Leaderboard v2
HuggingFace が運営する最大のオープンモデルランキング。2024年に v2 へ移行し、評価ベンチマークが刷新された。
v2 で使用される6ベンチマーク:
- IFEval: 指示追従能力（Instruction Following）
- BBH (Big Bench Hard): 困難な推論タスク27種
- MATH Lvl 5: 高難度の数学問題
- GPQA: 大学院レベルの専門知識問題
- MuSR: 多段推論能力
- MMLU-Pro: 10択の知識評価
誰でもモデルを投稿でき、HuggingFace のGPUクラスタで自動評価される。
LMSYS Chatbot Arena
LMSYS（Large Model Systems Organization）が運営する人間評価ベースのランキング。ユーザーがモデル名を隠した状態で2つのモデルの出力を比較し、より良い方に投票する「ブラインドテスト」方式を採用。
- Elo レーティング: チェスの Elo システムと同様に、対戦結果から各モデルのレーティングを算出
- カテゴリ別ランキング: コード生成・数学・創作・多言語など分野別のランキングも提供
- 汚染耐性: 人間の主観評価のためベンチマーク汚染の影響を受けにくい
- 累計投票数: 200万以上の投票が蓄積（2024年時点）
リーダーボードの落とし穴
- Goodhart の法則: 「指標が目標になると良い指標でなくなる」。リーダーボードのスコアを上げることが目的化すると、実用性が伴わないモデルが上位に来る
- ベンチマーク汚染: 学習データにベンチマーク問題が含まれているとスコアが水増しされる
- チェリーピッキング: 都合の良いベンチマークのみを報告し、苦手なベンチマークを隠す
- 過剰適合: 特定のベンチマークに特化した学習でスコアを上げるが、汎用性能は低い
- ランキング変動: 新モデルの登場で順位が頻繁に変動するため、特定時点のスナップショットに過ぎない
リーダーボードの正しい使い方
- 複数のリーダーボードを参照: 自動ベンチマーク（Open LLM Leaderboard）と人間評価（Chatbot Arena）の両方を確認
- 用途に合ったカテゴリを重視: コード生成なら BigCode、対話なら Arena、推論なら BBH
- スコアの差に注目: 1〜2%の差は誤差範囲。5%以上の差が有意
- 自社タスクでの検証: リーダーボードはあくまで参考。最終的には自社ユースケースでの A/B テストが重要
FAQ
Q1: リーダーボードで1位のモデルが最良の選択ですか？
A1: 必ずしもそうではない。1位のモデルが自分のユースケース（コスト・レイテンシー・言語・タスクタイプ）に最適とは限らない。リーダーボードは候補の絞り込みに使い、最終判断は実タスクで行うべき。
Q2: クローズドモデル（GPT-4o 等）もリーダーボードに掲載されていますか？
A2: Chatbot Arena や LiveBench にはクローズドモデルも含まれる。Open LLM Leaderboard はオープンウェイトモデル限定。両方を見ることでオープン vs クローズドの性能差を把握できる。
Q3: リーダーボードのスコアは信頼できますか？
A3: 単一のリーダーボードよりも複数の独立した評価を比較する方が信頼性が高い。特に Chatbot Arena の Elo レーティングは人間評価ベースのため、ベンチマーク汚染の影響を受けにくく信頼性が高いとされる。