Nejumi LLM NEO Leaderboard（ネジュミエルエルエムネオリーダーボード）
Weights & Biases Japanが運営する日本語LLMの公開リーダーボード。JP-LMEH準拠の多タスク評価に加え安全性・有害性評価も組み込み、オープン・クローズドモデルを横断比較できる。
Nejumi LLM NEO Leaderboardとは
Nejumi LLM NEO Leaderboard（ネジュミ・エルエルエム・ネオ）は、Weights & Biases Japanが運営する日本語LLMの公開評価リーダーボードです。日本語NLU能力の多タスク評価と安全性・有害性評価を統合した包括的な評価体制が特徴で、日本語LLM開発者・研究者・ユーザーが使いやすいモデル選定の参照基盤として機能しています。
評価の2本柱：性能と安全性
Nejumi Leaderboardの最大の特徴は、性能評価と安全性評価を独立した軸として両方提供する点です。
性能評価（Performanceスコア）
JP-LMEH（JP Language Model Evaluation Harness）を基盤とした多タスク評価を実施します。評価タスクには以下が含まれます。
- JCommonsenseQA（常識推論）
- JNLI（自然言語推論）
- JSQuAD（機械読解）
- MARC-ja（感情分析）
- JMMLU各分野
- MT-Bench-JP（対話品質評価）
- WMT-JA（翻訳品質）
安全性評価（Safetyスコア）
日本語LLMの有害コンテンツ生成リスクを定量化します。評価項目には以下が含まれます。
- 有害・差別的コンテンツ生成率
- プロンプトインジェクション耐性
- 個人情報漏洩リスク
- ジェンダー・人種バイアス測定
NEOへのバージョンアップ
初代Nejumi Leaderboardから「NEO」へのアップデートでは、評価タスクの刷新と安全性評価の強化が行われました。特に2024〜2025年の最新モデル（GPT-4o・Claude 3.5・Llama 3・Gemma 2・Swallow 70B等）への対応と、より実用的なインストラクションフォローイング評価の追加が重点的に実施されています。
モデルサブミット
Hugging Face Hub上に公開されているモデルであれば、GitHub Issueを通じてリーダーボードへの評価リクエストを送付できます。Weights & Biases側が標準化された設定でJP-LMEH実行後、スコアをリーダーボードに掲載します。これにより研究グループや企業が自社モデルの立ち位置を客観的に把握できます。
日本語LLM生態系における役割
Nejumi Leaderboardは日本語LLM評価エコシステムの中心的なハブとして機能しています。JGLUE・JMMLU・ELYZA TASKS 100などの個別ベンチマークをJP-LMEHで統合し、単一の比較可能なスコアボードとして提供することで、開発者が複数評価を個別に実行する手間を省きます。また安全性評価を性能評価と並列に提供する設計は、日本のAI規制動向（産業データ活用ガイドライン等）にも沿った評価基盤として注目されています。2025年時点でGPT-4o・Claude 3.5 Sonnet・Llama 3 70B Instruct・Swallow-72B・LLM-jp-13Bなど主要モデルのスコアが掲載されており、日本語LLM選定の実務的参考資料として活用されています。