JP Language Model Evaluation Harness（ジェイピーランゲージモデルイバリュエーションハーネス）

JP Language Model Evaluation Harness（JP-LMEH）とは

JP Language Model Evaluation Harness（JP-LMEH）は、EleutherAIが開発したオープンソース評価フレームワーク「lm-evaluation-harness」を日本語タスクに対応させた拡張版です。大規模言語モデルの能力を統一的なインターフェースで多数のベンチマークにわたって評価できる実験基盤で、日本語LLM研究・開発の再現性確保に大きく貢献しています。

lm-evaluation-harnessとの関係

EleutherAIのlm-evaluation-harnessは数百のベンチマークタスクをサポートする汎用評価ハーネスです。JP-LMEHはこれに日本語特有のタスク定義を追加したもので、主に以下のコンポーネントが拡張されています。

• タスク定義ファイル（YAML/Python）：JGLUEサブタスク・JMMLU・ELYZA TASKS 100などの日本語ベンチマーク定義
• トークナイザ対応：日本語の形態素解析・文字コード処理への対応
• 評価メトリクス：日本語特有の評価指標（文字/形態素単位のF1、BLEU-JA等）

サポートするタスク群

JP-LMEHが統合的に評価できる主要タスクには以下が含まれます。

• JCommonsenseQA（常識推論）
• JNLI（自然言語推論）
• JSQuAD（機械読解）
• MARC-ja（感情分析）
• JSTS（意味的類似度）
• JCommonsenseMorality（道徳判断）
• JMMLU各分野（57分野知識評価）
• XLSum-ja（多言語要約の日本語部分）

Nejumi Leaderboard NEOとの連携

Weights & Biases Japanが運営するNejumi Leaderboard NEOは、JP-LMEHを基盤評価ツールとして採用しています。これにより、リーダーボードに掲載されているスコアはJP-LMEH上での実行結果であり、誰でも同一の設定で再現確認が可能です。スコアの透明性と再現性がリーダーボードの信頼性を担保しています。

利用方法

標準的なPython環境でインストールして利用できます。評価対象モデルはHugging Face Hubからロードするか、ローカルパスを指定します。few-shot数・バッチサイズ・デバイス設定を統一することで、異なる研究グループ間での比較が容易になります。

再現性確保の意義

日本語LLMの評価結果は実装の細部（プロンプトテンプレート・few-shot設定・トークナイズ方法）によって大きく変わります。JP-LMEHで統一することで、異なる研究グループが発表した結果を直接比較できるようになり、研究コミュニティ全体の知見蓄積が加速します。オープンソース日本語LLM開発における事実上の標準評価フレームワークとなっています。