JGLUE（ジェイグルー）
日本語の自然言語理解能力を多角的に評価するベンチマーク群。機械読解・自然言語推論・テキスト分類など6タスクで構成され、日本語LLMの標準評価指標として広く使用される。
JGLUE（Japanese General Language Understanding Evaluation）とは
JGLUEは、日本語の自然言語処理（NLP）能力を多角的に測定するためのベンチマークスイートです。クラウドワークス・早稲田大学・本多達也氏らが2022年に公開し、英語圏のGLUE/SuperGLUEに相当する日本語標準評価基盤として広く使用されています。名称の"JGLUE"はJapanese GLUEの略で、日本語NLU（Natural Language Understanding）の総合評価を目的として設計されました。
6タスクの構成
JGLUEは以下の6つのサブタスクで構成されています。
- JCommonsenseQA：Winograd Schema風の常識推論問題（二択選択式）。日常的な知識と文脈理解を測定する。
- JaNLI：日本語自然言語推論（Textual Entailment）。含意・矛盾・中立の3値分類タスク。
- MARC-ja：Amazon商品レビューの感情分析。ポジティブ/ネガティブの2値分類。英語MARCのローカライズ版。
- JSTS：文ペアの意味的類似度スコアリング。0〜5の連続値で文間意味距離を評価する。
- JSQuAD：日本語Wikipedia記事に基づく機械読解（Stanford SQuAD形式）。文章から正解スパンを抽出する。
- JCommonsenseMorality：日常行動の常識的道徳判断（2値分類）。倫理的文脈理解を評価する。
各タスクはクラウドソーシングで高品質な日本語アノテーションを付与しており、英語ベンチマークを機械翻訳した版と異なり、自然な日本語表現を使用している点が特徴です。
スコアリングと活用実態
モデルの総合スコアは各タスクのスコア平均で算出します。GPT-4やClaude 3のような最先端クローズドモデルが上位を占める一方、LLM-jp-13B・Swallow・ELYZA-13Bなどオープンソース日本語LLMの能力測定にも活用されています。
JGLUEスコアが高いほど、日本語の読解・推論・感情理解・常識的判断の能力が高いと解釈できます。ただしNLU中心の設計上、自由形式の生成タスク（要約・対話・創作）の品質を保証するものではなく、ELYZA TASKS 100やMT-Bench-JPと組み合わせた多面評価が推奨されます。
データ汚染と限界
2022年公開という性質上、2025年時点の最新モデルに対してはテストセット記憶（データ汚染）のリスクが高まっています。特に事前学習データにJGLUEが含まれる可能性が排除できないため、スコアが実態より高く見える場合があります。この問題に対応するため、Nejumi Leaderboard NEOでは動的なベンチマーク更新と安全性評価を組み合わせた評価体制を採用しています。
関連ベンチマーク体系
JGLUEは日本語LLM評価エコシステムの中核を担います。JMMLU（多分野知識問題）・ELYZA TASKS 100（実用指示追従の人手評価）・JP-LMEH（統合評価ハーネス）・Nejumi Leaderboard（公開リーダーボード）と組み合わせることで、日本語LLMの総合的な実力を多角的に把握できます。