LLM（大規模言語モデル）の性能を定量的に測定・比較するための指標群。Perplexity、BLEU、ROUGE、人間評価、LLM-as-a-Judgeなど多角的な手法が存在し、タスクの種類や評価目的に応じて使い分ける。
LLM評価指標とは、大規模言語モデル（LLM）が生成するテキストの品質・正確性・有用性を定量的に測定するための手法と基準の総称である。2026年現在、GPT-4o・Claude 4・Gemini 2.0 Pro・Llama 4など多数のモデルが競合する中、公平で再現性のある評価指標の重要性が急速に高まっている。
LLM評価指標は大きく「自動評価指標」と「人間評価」の2種類に分類される。自動評価はPerplexity・BLEU・ROUGE・BERTScore・METEOR等の数値指標を用い、大規模かつ高速に評価できる利点がある。一方、人間評価は流暢性・有用性・安全性など主観的品質を直接測定できるが、コストと時間がかかる。2025年以降はLLM自身が評価者となる「LLM-as-a-Judge」方式が台頭し、GPT-4oやClaude 4を審判モデルとして活用するアプローチが標準化されつつある。
評価の目的は多岐にわたる。モデル開発時のチューニング指標、リリース前の品質保証、ベンチマークランキングでの比較、特定ドメイン（医療・法律・コーディング）への適合度測定などが主要なユースケースである。MMLU-Pro（57科目・14,000問）、Arena-Hard（500問のペアワイズ比較）、LiveBench（毎月更新される汚染耐性ベンチ）、SWE-Bench Verified（実際のGitHub Issue修正500件）など、2026年の主要ベンチマークは単一指標ではなく複合的な評価を志向している。
LLM評価指標は目的と手法によって以下のように分類される：
| ベンチマーク | 問題数 | 評価対象 | 汚染耐性 | 2026年トップモデル |
|---|---|---|---|---|
| MMLU-Pro |
| 14,000問 |
| 57科目の知識・推論 |
| 中（静的） |
| GPT-4o: 87.2% / Claude 4 Opus: 88.1% |
| Arena-Hard | 500問 | ペアワイズ品質比較 | 高（動的） | Claude 4 Opus: 82.4 / GPT-4o: 79.3 |
| LiveBench | 月次更新 | 推論・数学・コーディング | 最高（毎月刷新） | Gemini 2.0 Pro: 71.2% / Claude 4: 69.8% |
| SWE-Bench Verified | 500件 | 実GitHubバグ修正 | 高（実タスク） | Claude 4 Sonnet: 72.7% / GPT-4o: 38.4% |
| HumanEval+ | 164+問 | Pythonコード生成 | 中 | Claude 4 Opus: 95.2% / GPT-4o: 92.1% |
| GSM8K | 1,319問 | 小学校算数 | 低（飽和） | ほぼ全モデル95%超で差別化困難 |
評価指標の選択はタスクの種類と目的に依存する。以下にユースケース別の推奨指標を示す：
| 評価方式 | コスト | スケーラビリティ | 人間判断との相関 | 主な用途 |
|---|---|---|---|---|
| 自動評価（BLEU等） | 極低（$0.01/件以下） | 極高（秒単位） | 中（r=0.4-0.7） | 開発中の高速フィードバック |
| 人間評価 | 高（$1-10/件） | 低（時間/日単位） | 最高（基準） | 最終品質保証・ベンチマーク |
| LLM-as-a-Judge | 低（$0.05-0.20/件） | 高（分単位） | 高（r=0.8-0.9） | 大規模評価・CI/CD統合 |
2025-2026年に急速に普及したLLM-as-a-Judgeには主に3つの実装パターンがある：
審判モデルの選択も重要で、2026年時点ではGPT-4o（コスト$2.50/1M入力トークン）とClaude 4 Opus（$15/1M入力トークン）が二大選択肢。コスト重視ならGPT-4o mini（$0.15/1M入力トークン）やClaude 4 Haiku（$0.80/1M入力トークン）も審判として十分な性能を発揮する。
Q1: LLMの評価で最も重要な指標は何ですか？ A: 単一の最重要指標は存在しない。タスクに応じた指標選択が不可欠で、汎用的な品質評価にはLLM-as-a-Judge（MT-Bench形式）が最もバランスが良い。コスト効率ではGPT-4o miniを審判にした自動評価が$0.05/件程度で実用的である。
Q2: BLEUスコアとBERTScoreの違いは何ですか？ A: BLEUはn-gram（単語列）の表面的な一致率を測るのに対し、BERTScoreはBERTの埋め込みベクトルを使って意味的な類似度を測定する。「大きな犬」と「巨大な犬」はBLEUでは不一致だがBERTScoreでは高い類似度を示す。パラフレーズが多いタスクではBERTScoreが人間評価との相関が高い。
Q3: Chatbot Arenaのランキングはどの程度信頼できますか？ A: Chatbot Arenaは100万票以上の人間投票に基づくEloレーティングで、統計的信頼性は高い。ただし、投票者の偏り（英語話者・技術者が多い）や、長文を好む傾向（Verbosity Bias）が指摘されている。Style-controlled Arenaでは文体の影響を除外した純粋な品質比較が可能になっている。
Q4: 自社のLLMアプリケーションの評価はどう設計すべきですか？ A: 3段階アプローチが推奨される。(1) 開発中は自動指標（BLEU/ROUGE/BERTScore）で高速フィードバック、(2) リリース前にLLM-as-a-Judge（100-500サンプル）で品質確認、(3) 定期的に人間評価（50-100サンプル）で最終検証。コストは(1)が月$10以下、(2)が月$50-200、(3)が月$500-2,000程度が目安。