MMLU-Pro（エムエムエルユープロ）
オリジナルMMLUを大幅に強化した大規模言語モデル評価ベンチマーク。選択肢数を4→10に拡大し、大学院レベルの難問を追加。推論能力の真の差を検出するために設計され、Chain-of-Thought推論で精度が大きく変動する点が特徴。TIGER-Labが2024年に公開。
MMLU-Proとは
MMLU-Proは、TIGER-Lab（テキサス大学A&M大学）が2024年に公開した大規模言語モデル（LLM）評価ベンチマークである。オリジナルのMMLU（Massive Multitask Language Understanding、Hendrycks et al., 2021）が抱えていた天井効果・ノイズ問題・推論力識別力の不足を解消するために設計された。選択肢を4→10に拡大し、大学院レベルの難問を追加することで、最先端LLMの真の推論能力差を検出する。
オリジナルMMLUとの違い
| 項目 | MMLU | MMLU-Pro |
|---|---|---|
| 選択肢数 | 4 | 10 |
| 問題数 | 15,908 | 12,032 |
| カテゴリ数 | 57 | 14（統合） |
| 難易度 | 学部〜大学院 | 大学院〜研究者 |
| 当て推量ベースライン | 25% | 10% |
| GPT-4oスコア | 88.7% | 72.6% |
| CoT効果 | +1〜2% | +10〜20% |
| ノイズ率 | 高い（推定12%） | 低い（専門家レビュー済み） |
設計の特徴
10選択肢への拡大
オリジナルMMLUの4選択肢では、GPT-4クラスのモデルが85%以上を達成し天井効果が顕著になった。MMLU-Proは選択肢を10に増やすことで:
- 当て推量ベースラインを25%→10%に低下: ランダム回答の影響を大幅に抑制
- 識別力の向上: 上位モデル間の微細な能力差を検出可能に
- ショートカット回避: 消去法による正答が困難。真の知識と推論が必要
大学院レベル問題の追加
原論文から削除された易問を除外し、STEM・社会科学・人文科学の大学院レベル問題をGPT-4o生成+専門家フィルタリングで追加。特に数学・物理・化学・生物学・工学の比重が高い。
Chain-of-Thought（CoT）推論への感受性
MMLU-Proの最大の特徴は、CoT推論の有無でスコアが大きく変動する点。オリジナルMMLUではCoTの効果は+1〜2%に留まったが、MMLU-Proでは+10〜20%の差が出る。これはベンチマークが単純な知識検索ではなく多段推論を要求していることを示す。
14カテゴリの構成
| カテゴリ | 問題数 | 代表的トピック |
|---|---|---|
| Math | 1,351 | 微積分・線形代数・確率論 |
| Physics | 1,299 | 量子力学・電磁気学・熱力学 |
| Chemistry | 1,132 | 有機化学・物理化学・分析化学 |
| Biology | 717 | 分子生物学・遺伝学・生態学 |
| Computer Science | 1,010 | アルゴリズム・計算理論・OS |
| Engineering | 969 | 電気工学・機械工学・制御工学 |
| Economics | 844 | マクロ経済・ミクロ経済・計量経済 |
| Psychology | 798 | 認知心理・社会心理・発達心理 |
| Philosophy | 499 | 論理学・倫理学・形而上学 |
| Law | 1,101 | 憲法・刑法・国際法 |
| Health | 818 | 臨床医学・公衆衛生・薬理学 |
| History | 381 | 世界史・科学史・政治史 |
| Business | 789 | 会計・マーケティング・経営戦略 |
| Other | 324 | 分類外の学際的問題 |
主要モデルのスコア比較（2024-2025年）
| モデル | MMLU | MMLU-Pro | CoT効果 |
|---|---|---|---|
| GPT-4o | 88.7% | 72.6% | +15.8% |
| Claude 3.5 Sonnet | 88.7% | 78.0% | +12.3% |
| Gemini 1.5 Pro | 85.9% | 69.4% | +14.1% |
| Llama 3.1 405B | 87.3% | 73.3% | +11.5% |
| Mixtral 8x22B | 77.8% | 56.3% | +13.2% |
| Phi-3-medium | 78.0% | 53.7% | +18.4% |
利用方法
MMLU-Proは Hugging Face Datasets 経由でアクセスできる。
- データセット:
TIGER-Lab/MMLU-Pro（Hugging Face） - 評価フレームワーク: lm-evaluation-harness（EleutherAI）で
mmlu_proタスクとして統合済み - 評価コスト: GPT-4oで全12,032問実行する場合、約$50〜80（トークン消費による）
- 推奨設定: CoT推論をONにして評価（CoTなしのスコアは参考値としてのみ有効）
限界と批判
- 英語のみ: 多言語対応がないため、非英語圏のLLM評価には不向き
- 静的データセット: 2024年時点の知識でフリーズ。時事問題や最新研究の評価ができない（LiveBenchが補完）
- GPT-4o生成問題のバイアス: 追加問題の一部がGPT-4oで生成されており、GPT系モデルに有利なバイアスの可能性が指摘される
- コーディング能力の評価不足: SWE-benchやHumanEvalのようなコード実行型評価は含まない
よくある質問（FAQ）
Q1: MMLUとMMLU-Proのどちらを使うべき？
A: 2025年以降の最先端LLM比較にはMMLU-Proを推奨。オリジナルMMLUは天井効果で上位モデルの差が見えない。ただし過去モデルとの経年比較にはオリジナルMMLUも併用する。
Q2: MMLU-Proのスコアが低いモデルは実用性が低い？
A: 必ずしもそうではない。MMLU-Proは大学院レベルの学術知識を評価しており、チャットボットやコード生成等の実用タスク性能とは直接相関しない。Arena-Hard-AutoやBFCLなど実用寄りベンチマークと併せて判断すべき。
Q3: CoTを使わないスコアに意味はある？
A: 参考値としては有用。CoTなしスコアは「直感的な知識アクセス速度」の指標になる。ただしMMLU-Proの設計意図はCoT推論力の評価なので、公式比較にはCoTありスコアを使う。