MT-Bench（エムティーベンチ）

MT-Benchとは

MT-Bench（Multi-Turn Benchmark）は、2023年にLMSYSが発表したチャットモデル特化の評価ベンチマーク。「Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena」論文で初公開され、以降チャットアシスタントの標準評価指標として広く使われている。

構成

各カテゴリ10問、計80問。各問は「第1ターン（質問）→回答→第2ターン（フォローアップ）→回答」の2ターン形式で、会話継続能力を評価する。

GPT-4ジャッジ方式

GPT-4に「あなたは公正な評価者です」というシステムプロンプトを与え、モデルの回答を1〜10点で採点させる。ポイントの増減理由も出力させることで採点の説明可能性を担保している。

LLM-as-a-Judgeの精度: LMSYS検証によれば、GPT-4ジャッジの採点とヒューマン評価者の一致率は80%を超え、人間同士の一致率（約81%）と同等水準。

スコアの読み方

• 9.0以上: GPT-4クラス（2023年基準）
• 8.0〜9.0: 実用的なチャットアシスタントとして十分
• 7.0〜8.0: 基本的な会話は可能だが複雑な推論に課題
• 7.0未満: 継続的なファインチューニングが必要

評価実施方法

git clone https://github.com/lm-sys/FastChat
cd FastChat/fastchat/llm_judge
# モデル回答生成
python gen_model_answer.py --model-path <model> --model-id <name>
# GPT-4ジャッジ
python gen_judgment.py --model-list <name>
# スコア表示
python show_result.py --model-list <name>

限界と注意点

• 英語のみのため多言語評価には追加ベンチマークが必要
• GPT-4の自己優先バイアス：GPT-4系モデルを評価すると過大評価になる傾向
• 80問と少数のため統計的変動が大きく、差が1点未満の場合は有意差なしとみなすべき
• 2023年公開時点のカリブレーション基準のため、2025年現在のモデルはほぼ8点台以上に集中し識別力が低下している

Arena-Hardとの比較