JMMLU（ジェイエムエムエルユー）

JMMLU（Japanese Massive Multitask Language Understanding）とは

JMMlUは、英語の多分野知識評価ベンチマークMMLU（Massive Multitask Language Understanding）を日本語に翻訳・整備した評価データセットです。主に群馬大学・東北大学などの研究グループが整備に携わり、日本語LLMの知識幅と多分野推論力を英語LLMと比較可能な形で評価するために活用されています。

MMLUとの関係

英語のMMLUはHendrycks et al.（2020）が発表した代表的ベンチマークで、57分野・約1万5千問の4択問題で構成されます。JMMlUはその翻訳版として、各問題を専門家翻訳または高品質機械翻訳（GPT-4翻訳後に人手校正）で日本語化しています。一部の翻訳プロジェクトは完全オープンソースとして公開されており、Hugging Face上で入手可能です。

57分野の範囲

評価分野は人文・社会・STEM・専門職と多岐にわたります。

• STEM：数学・物理・化学・生物・コンピュータ科学・統計学
• 人文・社会：歴史・地理・政治・心理学・社会学・経済学・哲学
• 専門職：医学・法律・会計・ビジネス・看護・薬学
• その他：常識推論・国際関係・論理的思考

問題の難易度は高校〜大学院レベルを網羅しており、幅広い知識深度の評価が可能です。

日本語LLM評価における活用

JMMlUは日本語能力と知識能力を切り分けて評価するうえで有用です。英語で高スコアのモデルが日本語JMMlUで大幅に低下する場合、知識の多言語転移（Cross-lingual Transfer）が不十分であることを示します。逆に、日本語特化のファインチューニングや継続事前学習（例：Swallow・LLM-jp）によってJMMlUスコアが向上するケースも観察されており、日本語LLM開発の指針として活用されています。

スコア解釈の目安

• 〜40%：ランダム選択水準（4択のため25%が理論下限）
• 50〜60%：初期の小規模LLMや蒸留モデルの典型的水準
• 70〜80%：GPT-3.5〜GPT-4相当の知識水準
• 85%以上：最先端クローズドモデルの上位水準

分野ごとのスコアばらつきも重要で、医学・法律・数学など専門性の高い分野では汎用LLMと専門特化LLMの差が顕著に現れます。

限界

翻訳品質のばらつき・文化的ニュアンスの損失・データ汚染リスクなど課題も存在します。また日本固有の法制度・文化・歴史に関する問題は英語版から翻訳されたものではカバーできないため、JGLUEやELYZA TASKS 100と組み合わせた総合評価が推奨されます。JMMlUスコアは知識の幅を示す指標として有用ですが、実用的なタスク遂行能力の評価は生成系ベンチマークと組み合わせることで初めて全体像が見えてきます。