LLMのロングコンテキスト処理能力を多角的に評価するベンチマーク群。Needle in a Haystack（NIAH）による基本検索テスト、RULERによる多面的評価、L-Evalによる長文理解、InfiniteBenchによる100K超の極長文テストなどがある。モデルの実用的なコンテキスト活用能力を測定する。
ロングコンテキストベンチマークは、LLMが長大な入力テキストをどれだけ正確に理解・活用できるかを定量的に評価する評価体系である。モデルのスペック上のコンテキスト長（例: 128K、200K、2M）と実際の活用能力には大きな乖離がある場合があり、これを客観的に測定するために2023年以降急速に発展した。
単純な「最大トークン数」の比較ではなく、「どの位置の情報をどの程度正確に検索・統合・推論できるか」を多角的に評価することが、2025年時点のベンチマーク設計の主流となっている。
| ベンチマーク | 提案時期 | 評価対象 | コンテキスト長 | タスク数 | 特徴 |
|---|---|---|---|---|---|
| NIAH | 2023年11月 | 検索精度 | 〜200K | 1 | 単一事実の検索 |
| Multi-NIAH | 2024年2月 | 複数検索 | 〜200K | 1 | 複数のneedleを同時検索 |
| RULER | 2024年4月 | 多面的 | 〜128K | 13 | 検索+集約+追跡+QA |
| L-Eval | 2023年8月 | 長文理解 |
| 〜60K |
| 18 |
| 要約+QA+数学 |
| InfiniteBench | 2024年2月 | 極長文 | 100K〜500K | 12 | 書籍レベルの長文処理 |
| LongBench | 2023年8月 | 総合 | 〜34K | 21 | 6タスクカテゴリ |
| LongBench v2 | 2024年10月 | 高難度 | 〜2M | 503 | 人間レベルの長文問題 |
| ZeroSCROLLS | 2023年5月 | ゼロショット | 〜100K | 10 | 追加学習なしで評価 |
| BAMBOO | 2023年9月 | 汚染回避 | 〜128K | 10 | データ汚染の影響を排除 |
| Passkey Retrieval | 2023年7月 | 位置検索 | 〜1M | 1 | ランダム位置のパスキー検索 |
NIAHはGreg Kamradt氏が2023年11月に提案した、最もシンプルかつ広く普及したロングコンテキストベンチマークである。
NIAHは「文字通りの検索」に特化しており、以下の能力は測定できない：
RULER（Real-world Understanding and Learning Evaluation for Retrieval）は、NIAHの限界を克服するために設計された多面的ベンチマークである。4つのカテゴリ、13のタスクで構成される。
| モデル | 4K | 8K | 16K | 32K | 64K | 128K | 有効コンテキスト長 |
|---|---|---|---|---|---|---|---|
| GPT-4 Turbo | 96.6 | 96.3 | 95.2 | 93.8 | 91.2 | 87.0 | 〜64K |
| Claude 3.5 Sonnet | 96.9 | 96.5 | 96.0 | 95.5 | 94.8 | 93.2 | 〜128K |
| Gemini 1.5 Pro | 96.7 | 96.4 | 95.8 | 95.1 | 94.0 | 91.5 | 〜100K |
| LLaMA 3.1 70B | 95.5 | 94.2 | 92.8 | 89.5 | 83.2 | 74.6 | 〜32K |
| Mistral Large 2 | 95.8 | 94.8 | 93.5 | 91.0 | 86.5 | 78.3 | 〜48K |
| Yi-34B-200K | 93.2 | 91.8 | 88.5 | 82.0 | 71.5 | 60.2 | 〜16K |
有効コンテキスト長: RULERスコアが90以上を維持できる最大コンテキスト長。スペック上のコンテキスト長とは大きく乖離する場合がある。
InfiniteBenchは100K〜500Kトークンの極長文タスクに特化したベンチマークで、書籍レベルの長文処理能力を測定する。
InfiniteBenchのタスクは意図的に100Kトークン以上のコンテキストを必要とするよう設計されている。書籍全体のQA、数千行のコードデバッグなど、実世界の長文処理シナリオに近い問題設定が特徴。
LongBench v2はTsinghua大学が開発した、人間専門家レベルの長文理解ベンチマークである。
| 評価目的 | 推奨ベンチマーク | 理由 |
|---|---|---|
| 基本的な検索精度 | NIAH + Multi-NIAH | 実装容易、可視化しやすい |
| 総合的なコンテキスト活用能力 | RULER | 検索/集約/追跡/QAの4軸 |
| 超長文の実用性能 | InfiniteBench | 100K超の極長文タスク |
| データ汚染の心配がない評価 | BAMBOO | 汚染回避設計 |
| 人間レベルの難易度 | LongBench v2 | 手作業問題503件 |
| 日本語を含む多言語評価 | LongBench | 多言語サブセットあり |
Q1: モデルのスペック上のコンテキスト長と実効コンテキスト長はどう違いますか？ A: スペック上のコンテキスト長はモデルが技術的に受け付ける最大トークン数。実効コンテキスト長はベンチマーク（特にRULER）でスコア90以上を維持できる長さ。例えばYi-34B-200Kはスペック200Kだが、RULERで90以上を維持できるのは約16Kまで。購入・選定時はスペック値ではなくベンチマークスコアで判断すべき。
Q2: NIAHテストで100%のモデルは完璧な長文処理ができますか？ A: いいえ。NIAHは「単一事実の文字通りの検索」しか測定しない。複数情報の統合、要約、推論など高度なタスクではNIAH 100%のモデルでも大幅に精度が低下する場合がある。RULERやInfiniteBenchなど多面的なベンチマークで総合評価することが重要。
Q3: 自社のユースケースに適したベンチマークをどう選べばよいですか？ A: まずNIAHで基本的な検索精度を確認し、次にRULERで総合能力を評価するのが標準的なアプローチ。特定ドメイン（法律文書、医療記録、コードベース）では、実データに基づくカスタムベンチマークを作成することが最も信頼性が高い。カスタム作成時は位置バイアス（先頭/末尾偏重）を避ける設計が重要。
Q4: ベンチマークのデータ汚染（contamination）はどう対処すべきですか？ A: 多くのLLMの学習データにベンチマーク問題が含まれている可能性がある。BAMBOOは汚染回避を設計に組み込んでおり、LongBench v2も新規作成問題で汚染リスクを最小化している。公平な評価のためには、(1) 複数ベンチマークの併用、(2) 新規問題でのカスタム評価、(3) 汚染回避設計のベンチマーク優先使用が推奨される。