LiveBench（ライブベンチ）
LLMの汚染（contamination）問題を回避するため毎月新問題を追加するLLM評価ベンチマーク。数学・コーディング・推論・言語など18カテゴリで2024年公開。
LiveBench とは
LiveBench（ライブベンチ）は、2024年6月にAbacus AI研究チームとJohns Hopkins大学が共同開発・公開したLLM（大規模言語モデル）評価ベンチマークです。従来の固定問題セットベンチマークの最大の弱点であるデータ汚染（Contamination）問題を解決するために設計されました。
データ汚染とは、ベンチマークの問題がLLMの学習データに混入してしまい、モデルが「答えを丸暗記」してしまう現象です。MMLU・HumanEvalなどの人気ベンチマークでは公開から数年経過した現在、学習データへの混入が疑われており、スコアの信頼性が議論されています。LiveBenchはこの問題をリアルタイムデータの活用で根本的に解決します。
動的問題生成の仕組み
LiveBenchの問題は以下のソースから毎月自動生成されます：
- ArXiv最新論文: 数学・CS・統計分野の最新論文から問題抽出（公開から2週間以内）
- 競技プログラミング: Codeforces・LeetCode最新問題（解禁後即採用）
- ニュース・時事: CNN/BBC等の最新ニュース記事の要約・推論問題
- 映画・書籍データベース: IMDB・Goodreads最新レビューの感情分析・推論
- 自動検証可能な問題設計: 正解が明確に判定できる問題形式のみ採用
問題の「鮮度」により、学習済みモデルが解答を知っている可能性が極めて低くなります。
18カテゴリと評価軸
LiveBenchは以下18カテゴリで包括的評価を実施：
| 大カテゴリ | サブカテゴリ | 特徴 |
|---|---|---|
| 数学 | AMC/IMO問題、数論、代数 | 競技数学問題 |
| コーディング | コード生成、デバッグ、最適化 | Codeforces/LeetCode |
| 推論 | ウェブ推論、空間推論、タブラー | 多段推論タスク |
| 言語 | 接続語、語彙、タイポス矯正 | 言語処理精度 |
| データ分析 | テーブル分析、グラフ解釈 | データ活用力 |
| 指示追従 | 複数制約付きタスク | 指示正確性 |
2024–2025年 主要モデルスコア
| モデル | LiveBench スコア（全体） | 数学 | コーディング |
|---|---|---|---|
| o3 mini (high) | 79.3% | 90.1% | 76.4% |
| DeepSeek-R1 | 78.9% | 91.2% | 74.3% |
| GPT-4o | 65.2% | 70.1% | 63.8% |
| Qwen2.5 72B | 63.1% | 67.8% | 61.2% |
| Claude 3.5 Sonnet | 60.6% | 58.9% | 62.1% |
| Gemini 1.5 Pro | 59.8% | 62.3% | 57.4% |
| Mistral Large 2 | 50.8% | 49.2% | 52.3% |
| Llama 3.1 70B | 42.3% | 38.5% | 40.7% |
Reasoning Models（o3 mini、DeepSeek-R1）がトップを独占し、数学カテゴリで特に高いスコアを示します。
汚染フリー設計の技術的根拠
LiveBenchがデータ汚染を回避できる理由：
- 時系列フィルタリング: ArXiv論文の公開日から14日以内の問題を採用。主要LLMの学習カットオフよりも新しい。
- 自動検証可能設計: 人間ジャッジ不要で正誤判定できる問題形式（コード実行・数値計算・選択肢）のみ採用。
- 月次ローリング更新: 古い問題は新問題に置き換え、常に最新性を維持。
- 問題多様性の確保: 単一ソースへの依存を避け、8+ソースから分散生成。
他ベンチマークとの棲み分け
- vs. MMLU-Pro: MMLUは固定問題・知識評価特化、LiveBenchは動的問題・多面評価
- vs. Arena-Hard: Arena-Hardは会話品質・勝率評価、LiveBenchは客観指標
- vs. SWE-Bench: SWE-Benchはコード特化、LiveBenchは汎用多カテゴリ
- vs. HumanEval: HumanEvalは汚染疑惑あり固定問題、LiveBenchは汚染回避動的
よくある質問（FAQ）
Q1: LiveBenchはなぜ既存ベンチマークより信頼できると言われるのですか？ A: 最新のArXiv論文・競技プログラミング問題を毎月採用するため、学習データへの混入が構造的に不可能です。固定問題セットは公開後に学習データに混入するリスクがありますが、LiveBenchは問題の「鮮度」でこれを回避します。
Q2: LiveBenchスコアが低いモデルは実用に向かないですか？ A: 必ずしもそうではありません。LiveBenchは特に数学・コーディング・推論系タスクの評価精度が高く、対話品質・創作などは別ベンチマークで補完評価が必要です。
Q3: LiveBenchで自作ファインチューニングモデルを評価するには？ A: GitHub（LiveBench/LiveBench）から評価コードをクローンし、gen_model_answer.pyでモデルの回答を生成、judge.pyで採点できます。OpenAIやHuggingFace互換のAPIエンドポイントがあれば対応可能です。
まとめ
- データ汚染（Contamination）を月次更新問題で根本回避するLLM評価ベンチマーク
- ArXiv・競技プログラミング・ニュース等から毎月自動生成、18カテゴリ
- DeepSeek-R1（78.9%）、o3 mini（79.3%）がトップ水準
- 汚染フリーな客観指標として学術・産業界での採用が増加中