LiveBench（ライブベンチ）
問題セットを月次更新してデータ汚染を防ぐ LLM ベンチマーク。MATH・コーディング・推論を含む 18 タスクで構成され、2024 年に公開された汚染フリー評価として注目される。
LiveBench とは
LiveBench は、2024 年 6 月に公開された汚染フリー LLM ベンチマークです。従来の MMLU・HellaSwag・HumanEval などは、発表から時間が経つにつれモデルの学習データに問題が混入（データ汚染）し、スコアが実力以上に高くなる問題がありました。
LiveBench は月次で問題セットを更新することで、この問題を根本的に解決します。古い問題は廃棄し、直近に発表されたニュース・論文・競技プログラミング問題から新問題を作成するため、モデルが「答えを事前学習」できません。
主な特徴・仕組み
- 汚染防止: 問題は直近 1〜3 ヶ月以内の新しいソースから作成
- 18 タスク: 数学（MATH、AMC）・コーディング（LeetCode）・推論（論理・因果）・言語（文法・語義）・データ分析・指示遵守
- 自動採点: 人間の審判不要、客観的スコアリング
- 月次更新: 毎月新問題追加、公開から 3 ヶ月超の問題は廃棄
- オープンアクセス: GitHub・HuggingFace で無料公開
- 問題数: 2025 年 3 月時点で約 1,100 問
スコア比較表（2025 年 3 月版）
| モデル | LiveBench スコア | 特徴 |
|---|---|---|
| GPT-4o (2024-11-20) | 67.3 | 総合バランス最高 |
| Claude 3.5 Sonnet | 65.8 | コーディング・数学強 |
| Gemini 1.5 Pro | 61.4 | 多言語・長文対応 |
| Llama 3.1 405B | 52.1 | オープンソース最高 |
| Mistral Large 2 | 49.7 | 欧州系最高峰 |
| Llama 3 70B | 43.2 | 7B 比で格段に向上 |
問題カテゴリ詳細
| カテゴリ | タスク例 | 問題ソース |
|---|---|---|
| 数学 | MATH レベル 4-5、AMC 2023-2025 | 競技数学公式発表 |
| コーディング | LeetCode 週次コンテスト問題 | LeetCode 公式 |
| 推論 | 論理パズル・因果推論 | 研究者作成 |
| データ分析 | 表解析・統計推論 | 最新データセット |
| 言語 | 文法修正・語義弁別 | 言語学コーパス |
| 指示遵守 | 複合制約指示 | 研究者設計 |
データ汚染問題の深刻さ
MMlu（2020年発表）では、2023年にGPT-4がスコア86.4%を記録し、2024年には小型モデルが87%以上を達成した。これはモデルが学習データでMMlu問題を「暗記」している可能性を示す。LiveBenchでの比較では、汚染なしの問題でスコア格差が15〜20%大きく現れ、旧ベンチで過大評価されていたモデルがLiveBenchでは低ランク化する事例が多数報告されている。
よくある質問（FAQ）
Q1: LiveBench スコアと実用性はどれくらい相関しますか？ A: 数学・コーディングは実用タスクとの相関が高いです。ただし日本語能力・長文処理は別評価が必要です。
Q2: 毎月問題が変わるので、月をまたいだ比較は可能ですか？ A: 各月のスナップショットを固定して比較します。月次移動平均スコアで時系列トレンドも確認できます。
Q3: MMLU と LiveBench でスコアが大きく違うモデルは信頼できますか？ A: 大きく乖離するモデルは MMLU 問題を学習データに含んでいた可能性があります。LiveBench スコアの方が実力を反映します。
まとめ
- 月次問題更新でデータ汚染を根本排除する次世代 LLM ベンチマーク
- 数学・コーディング・推論等 18 タスク、客観的自動採点
- 2024 年以降、汚染フリー評価の標準指標として研究者・企業に採用拡大中