MMLU-Pro（エムエムエルユープロ）

MMLU-Pro とは

MMLL-Pro（Massive Multitask Language Understanding Pro）は、2024年5月にTIGER-Lab（カナダ・ウォータールー大学）が公開した大規模言語モデル（LLM）評価ベンチマークです。2020年に登場したオリジナルMMLUの限界を克服し、最先端モデルの本当の推論力・専門知識を厳格に測定することを目的として設計されました。

MMLL-Proの最大の特徴は選択肢を4択から10択に拡張した点です。選択肢が増えることで単純な消去法や確率的当てずっぽうが通用しなくなり、モデルの真の理解度を問えます。また、問題文自体も「複数ステップの推論を要求する」設計に改められており、約27%の問題は連鎖的思考（Chain-of-Thought）なしでは正答が困難とされています。

主な仕様・統計

14科目の内訳：数学、物理学、化学、生物学、法律、心理学、歴史、哲学、工学、コンピュータ科学、ビジネス、健康科学、教育学、その他経済学。

2024–2026年 主要モデルのスコア比較

2025年以降、Reasoning Modelの台頭によりスコアが急上昇。DeepSeek-R1は84.0%という驚異的な数値を記録し、思考系モデルの優位性を示しました。

評価方法とスコアリング

MMLL-Proは以下のプロセスでスコアを算出します：

• Zero-shot CoT評価: プロンプトにChain-of-Thoughtを誘導する指示を含める
• 5-shot評価: 同科目の例題5問を提示してから本問に回答させる
• 正解率計算: 10択中1問選択、正解率をパーセントで表示
• 科目別分析: 14科目それぞれのスコアを個別に集計

評価の再現性を高めるため、問題文・選択肢はすべて固定テキスト（動的生成なし）で提供されます。

他ベンチマークとの比較

MMLL-Proが登場するまで、LLMの知識評価の主流はオリジナルMMLUでした。しかしGPT-4がMMLUで86.4%超を記録したことで「天井問題」が顕在化し、モデル間の差別化が困難になりました。MMLU-Proはこの問題を解決するために設計されています。

• vs. MMLU: 難易度は2倍以上。最先端モデルでも80%程度が限界。
• vs. GPQA: GPQAは500問・大学院レベル専門知識特化、MMLU-Proは12,032問・幅広い分野。
• vs. ARC-Challenge: ARC-Challengeは科学知識特化、MMLU-Proは多分野横断。
• vs. Arena-Hard: Arena-Hardは会話品質評価、MMLU-Proは知識・推論の客観評価。

実際の活用場面

AIエンジニアや研究者がMMLL-Proを活用する場面：

• モデル選定の参考指標: 業務用途のLLM採用前に複数モデルを比較
• ファインチューニング効果の測定: ドメイン特化チューニング後の汎用知識劣化チェック
• プロンプトエンジニアリング検証: Chain-of-Thoughtプロンプトの有効性測定
• 社内LLM評価ダッシュボード: 週次でモデルバージョン差分を追跡

よくある質問（FAQ）

Q1: MMLU-ProとMMLUはどう違いますか？ A: 最大の違いは選択肢数（4択→10択）と問題の推論難度です。MMLU-Proでは最先端モデルでも70-80%程度にとどまり、モデル差別化が明確になります。

Q2: MMLU-Proの高スコアは実業務での高性能を保証しますか？ A: 相関はありますが保証ではありません。MMLU-Proは知識・推論の測定に特化しており、コーディング・会話品質・指示追従などはArena-Hard、SWE-Bench等の別ベンチマークで評価が必要です。

Q3: 個人でMMLL-Proを使って自作モデルを評価できますか？ A: 可能です。GitHub（TIGER-Lab/MMLU-Pro）でデータセットとeval_mmlu_pro.pyスクリプトが公開されており、HuggingFace Dataset経由でも利用できます。

まとめ

• 12,032問・14科目・10択の高難度LLM知識評価ベンチマーク
• 2024年TIGER-Labが公開、オリジナルMMLUの天井問題を解決
• DeepSeek-R1（84.0%）、o3 mini（79.7%）、GPT-4o（72.6%）などが高スコア
• 知識・推論能力の客観評価として業界標準指標に採用されつつある