MMLU / MMLU-Pro（エムエムエルユー / エムエムエルユープロ）
LLMの多分野知識を測定する大規模多肢選択式ベンチマーク。MMLU は57科目14,042問、MMLU-Pro は推論重視の改良版で14科目約12,000問から構成される。
MMLU / MMLU-Pro とは
MMLU（Massive Multitask Language Understanding）は、2021年に Hendrycks らによって提案されたLLM の多分野知識・推論能力を測定するベンチマークである。STEM（科学・技術・工学・数学）、人文科学、社会科学、その他の4大分野にまたがる57科目・14,042問の多肢選択問題で構成され、大学レベルの専門知識から高校レベルの基礎知識まで幅広く網羅する。
2024年に発表された MMLU-Pro は、MMLU の後継として以下の改良を加えた上位互換ベンチマークである。
- 選択肢数を4択から10択に拡張（当て推量の影響を低減）
- 推論ステップを要する問題の比率を大幅に増加
- ノイズの多い問題や曖昧な問題を除外し、問題品質を向上
- Chain-of-Thought（CoT）プロンプティングによるスコア向上幅が大きい設計
MMLU の科目構成と分野分布
| 分野 | 科目数 | 代表的科目 | 問題数（概算） |
|---|---|---|---|
| STEM | 18 | 数学, 物理, 化学, コンピュータサイエンス, 電気工学 | 約4,500 |
| 人文科学 | 13 | 哲学, 法学, 歴史, 倫理学 | 約3,500 |
| 社会科学 | 12 | 経済学, 心理学, 社会学, 政治学 | 約3,200 |
| その他 | 14 | 臨床医学, 看護学, 栄養学, 専門会計 | 約2,800 |
評価手法と実行方法
MMLU の標準評価プロトコルは 5-shot 設定である。各科目の開発セット（dev set）から5つの例題とその正解を提示し、テスト問題に対する正解選択肢の対数尤度（log-likelihood）を比較する。
# lm-evaluation-harness での MMLU 評価
lm_eval --model hf \
--model_args pretrained=meta-llama/Llama-3.1-70B-Instruct \
--tasks mmlu \
--num_fewshot 5 \
--batch_size auto \
--output_path results/mmlu/
# MMLU-Pro の評価（CoT推奨）
lm_eval --model hf \
--model_args pretrained=meta-llama/Llama-3.1-70B-Instruct \
--tasks mmlu_pro \
--num_fewshot 5 \
--output_path results/mmlu_pro/
スコアの算出方法
- 各問題に対し、4つ（MMLU-Pro は10個）の選択肢それぞれの条件付き対数尤度を計算
- 最大尤度の選択肢を予測回答とする
- 科目ごとの正答率を算出し、全科目のマクロ平均を最終スコアとする
主要モデルのスコア比較
| モデル | MMLU (5-shot) | MMLU-Pro (5-shot CoT) | パラメータ数 |
|---|---|---|---|
| GPT-4o (2024) | 88.7% | 72.6% | 非公開 |
| Claude 3.5 Sonnet | 88.7% | 78.0% | 非公開 |
| Llama 3.1 405B | 87.3% | 73.3% | 405B |
| Gemini 1.5 Pro | 85.9% | 69.1% | 非公開 |
| Mixtral 8x22B | 77.8% | 56.3% | 141B (39B active) |
| Llama 3.1 8B | 69.4% | 48.3% | 8B |
| Phi-3 Mini | 68.8% | 45.2% | 3.8B |
※ スコアは各モデルの公式テクニカルレポートまたは Open LLM Leaderboard v2 準拠。評価条件により数%の変動がある。
MMLU の限界と批判
データ汚染問題
MMLU の問題はインターネット上で広く共有されており、学習データに混入している可能性が高い。特に2023年以降に学習されたモデルでは、暗記によるスコア水増しが指摘されている。対策として、問題文のパラフレーズ版やシャッフル版での再評価が推奨される。
ベンチマーク飽和
トップモデルのスコアが85〜90%に達し、モデル間の差異が統計的に有意でなくなりつつある。MMLU-Pro はこの問題に対処するため難易度と識別力を引き上げたが、今後さらに飽和が進むことが予想される。
形式依存性
同じモデルでも、プロンプトの形式（Answer: A vs The answer is (A)）やfew-shot数（0-shot vs 5-shot vs CoT）によりスコアが5〜10%変動することがある。レポート時には評価条件の厳密な記載が不可欠である。
文化的偏り
問題の多くが英語圏の大学カリキュラムに基づいており、非英語圏の知識体系が十分に反映されていない。多言語版 MMLU（Global-MMLU 等）の開発が進められている。
MMLU-Pro の改良点詳細
| 比較項目 | MMLU | MMLU-Pro |
|---|---|---|
| 選択肢数 | 4 | 10 |
| 問題数 | 14,042 | ~12,000 |
| 科目数 | 57 | 14（重点分野） |
| ランダム正答率 | 25% | 10% |
| CoT による向上幅 | ~2% | ~10-15% |
| 推論要求レベル | 知識再生中心 | 多段推論必須 |
| ノイズ問題 | 含む | 除外済み |
よくある質問（FAQ）
Q1: MMLU と MMLU-Pro のどちらを使うべきか？
現在のモデル評価には MMLU-Pro を推奨する。トップモデルでの飽和が進んだ MMLU に対し、MMLU-Pro は10択化と推論重視の問題設計により識別力が高い。ただし、過去のモデルとの比較や論文での引用には MMLU が依然として標準的に使用されている。両方を併記するのがベストプラクティスである。
Q2: MMLU のスコアが高ければ実用性能も高いと言えるか？
必ずしもそうではない。MMLU は多肢選択式の知識テストであり、指示追従能力、長文生成品質、対話の自然さ、安全性などは測定しない。実用性能の評価には Chatbot Arena（ヒューマン評価）や MT-Bench（LLM-as-Judge）を併用すべきである。MMLU は「知識の広さ」の指標として有用だが、モデル選定の唯一の基準にはすべきではない。
Q3: 自社ドメインのMMLU風ベンチマークを作成する方法は？
lm-evaluation-harness のカスタムタスク機能を利用する。YAML形式でタスク設定ファイルを作成し、HuggingFace Dataset 形式で問題データをアップロードすれば、MMLU と同一の評価パイプラインで自社ドメイン評価を実行できる。問題品質の担保には、ドメイン専門家による問題作成と、項目応答理論（IRT）に基づく識別力分析を推奨する。