LiveBench（ライブベンチ）

LiveBenchとは

LiveBenchは2024年6月にAbacusAIらが提案した動的LLM評価ベンチマーク。従来の静的ベンチマーク（MMLU、HumanEvalなど）が抱える訓練データ汚染（Benchmark Contamination）の問題を根本的に解決することを目的として設計されている。

訓練データ汚染問題

静的ベンチマークは公開後にモデルの訓練データに含まれる可能性がある。例えば2020年公開のMMLUは、2023年以降のモデルが訓練データとして参照した可能性があり、「本当の理解力」なのか「問題を記憶しているだけ」なのかが判断しにくい。LiveBenchはこの問題に対し、毎月新しい問題を追加し、古い問題を置き換えることで汚染リスクを最小化する。

6カテゴリ構成

1. Mathematics — 数学的推論、計算、証明
2. Coding — アルゴリズム、バグ修正、コード生成
3. Reasoning — 論理推論、パズル、因果推論
4. Language — 文章理解、要約、言語処理
5. Data Analysis — 表・グラフ解釈、統計分析
6. Instruction Following — 複雑な指示への準拠

問題の源泉

新鮮な問題を維持するため、直近のarXiv論文（数学・CS分野）、最新のコーディングコンテスト問題、新規刊行された教科書の演習問題などから自動生成・収集する。

主な特徴

• 客観的採点: LLMをジャッジとして使わず、正解が一意に決まる問題のみ採用
• 公開リーダーボード: 最新スコアをリアルタイムで参照可能
• 汚染耐性: 問題が常に更新されるため、将来にわたってベンチマークの有効性が維持される

利用方法

LiveBenchのリーダーボードはGitHubおよびウェブサイトで公開されており、誰でも自分のモデルを評価・提出できる。研究者やエンジニアが最新モデルの実力を比較する際の信頼性の高い参照先として広く使われている。