ロングコンテキストベンチマーク（ロングコンテキストベンチマーク）
LLMのロングコンテキスト処理能力を多角的に評価するベンチマーク群。Needle in a Haystack（NIAH）による基本検索テスト、RULERによる多面的評価、L-Evalによる長文理解、InfiniteBenchによる100K超の極長文テストなどがある。モデルの実用的なコンテキスト活用能力を測定する。
ロングコンテキストベンチマークとは
ロングコンテキストベンチマークは、LLMが長大な入力テキストをどれだけ正確に理解・活用できるかを定量的に評価する評価体系である。モデルのスペック上のコンテキスト長（例: 128K、200K、2M）と実際の活用能力には大きな乖離がある場合があり、これを客観的に測定するために2023年以降急速に発展した。
単純な「最大トークン数」の比較ではなく、「どの位置の情報をどの程度正確に検索・統合・推論できるか」を多角的に評価することが、2025年時点のベンチマーク設計の主流となっている。
主要ベンチマーク一覧
| ベンチマーク | 提案時期 | 評価対象 | コンテキスト長 | タスク数 | 特徴 |
|---|---|---|---|---|---|
| NIAH | 2023年11月 | 検索精度 | 〜200K | 1 | 単一事実の検索 |
| Multi-NIAH | 2024年2月 | 複数検索 | 〜200K | 1 | 複数のneedleを同時検索 |
| RULER | 2024年4月 | 多面的 | 〜128K | 13 | 検索+集約+追跡+QA |
| L-Eval | 2023年8月 | 長文理解 | 〜60K | 18 | 要約+QA+数学 |
| InfiniteBench | 2024年2月 | 極長文 | 100K〜500K | 12 | 書籍レベルの長文処理 |
| LongBench | 2023年8月 | 総合 | 〜34K | 21 | 6タスクカテゴリ |
| LongBench v2 | 2024年10月 | 高難度 | 〜2M | 503 | 人間レベルの長文問題 |
| ZeroSCROLLS | 2023年5月 | ゼロショット | 〜100K | 10 | 追加学習なしで評価 |
| BAMBOO | 2023年9月 | 汚染回避 | 〜128K | 10 | データ汚染の影響を排除 |
| Passkey Retrieval | 2023年7月 | 位置検索 | 〜1M | 1 | ランダム位置のパスキー検索 |
NIAH（Needle in a Haystack）の詳細
NIAHはGreg Kamradt氏が2023年11月に提案した、最もシンプルかつ広く普及したロングコンテキストベンチマークである。
テスト手順
- 長大なテキスト（haystack）を用意（通常はPaul Grahamのエッセイ集）
- 特定の事実文（needle）をhaystackの指定位置に挿入
- needleの内容についてモデルに質問
- コンテキスト長（横軸）×挿入位置（縦軸）のマトリクスで正答率をヒートマップ化
評価バリエーション
- Single NIAH: 1つのneedleを検索（標準）
- Multi-NIAH: 2〜10個のneedleを同時に検索（より困難）
- Conditional NIAH: 条件に合致するneedleのみを選択的に検索
- Multi-hop NIAH: needle Aの情報をもとにneedle Bを推論する連鎖検索
限界
NIAHは「文字通りの検索」に特化しており、以下の能力は測定できない：
- 複数情報の統合・推論
- 長文の要約・抽出
- コンテキスト全体のパターン認識
- 相互矛盾する情報の処理
RULER（2024年）
RULER（Real-world Understanding and Learning Evaluation for Retrieval）は、NIAHの限界を克服するために設計された多面的ベンチマークである。4つのカテゴリ、13のタスクで構成される。
タスクカテゴリ
- Retrieval（検索）: Single NIAH、Multi-Keys NIAH、Multi-Values NIAH、Multi-Queries NIAH
- Aggregation（集約）: Common Words（頻出単語抽出）、Frequent Words（最頻出単語特定）
- Tracking（追跡）: Variable Tracking（変数の値追跡）、Co-reference Resolution（共参照解決）
- Question Answering（QA）: 長文に基づくQA
主要モデルのRULERスコア（128Kコンテキスト）
| モデル | 4K | 8K | 16K | 32K | 64K | 128K | 有効コンテキスト長 |
|---|---|---|---|---|---|---|---|
| GPT-4 Turbo | 96.6 | 96.3 | 95.2 | 93.8 | 91.2 | 87.0 | 〜64K |
| Claude 3.5 Sonnet | 96.9 | 96.5 | 96.0 | 95.5 | 94.8 | 93.2 | 〜128K |
| Gemini 1.5 Pro | 96.7 | 96.4 | 95.8 | 95.1 | 94.0 | 91.5 | 〜100K |
| LLaMA 3.1 70B | 95.5 | 94.2 | 92.8 | 89.5 | 83.2 | 74.6 | 〜32K |
| Mistral Large 2 | 95.8 | 94.8 | 93.5 | 91.0 | 86.5 | 78.3 | 〜48K |
| Yi-34B-200K | 93.2 | 91.8 | 88.5 | 82.0 | 71.5 | 60.2 | 〜16K |
有効コンテキスト長: RULERスコアが90以上を維持できる最大コンテキスト長。スペック上のコンテキスト長とは大きく乖離する場合がある。
InfiniteBench（2024年）
InfiniteBenchは100K〜500Kトークンの極長文タスクに特化したベンチマークで、書籍レベルの長文処理能力を測定する。
タスク構成
- En.QA / Zh.QA: 英語/中国語の長文質問応答
- En.MC / Zh.MC: 英語/中国語の長文多肢選択
- En.Sum / Zh.Sum: 英語/中国語の長文要約
- En.Dia: 長い対話からの情報検索
- Code.Debug: 長大なコードからのバグ特定
- Code.Run: 長い関数チェーンの実行結果予測
- Math.Find: 長い数列からの特定パターン検索
- Math.Calc: 長い数式の計算
難易度の特徴
InfiniteBenchのタスクは意図的に100Kトークン以上のコンテキストを必要とするよう設計されている。書籍全体のQA、数千行のコードデバッグなど、実世界の長文処理シナリオに近い問題設定が特徴。
LongBench v2（2024年）
LongBench v2はTsinghua大学が開発した、人間専門家レベルの長文理解ベンチマークである。
- 503の問題: 自動生成ではなく、人間が手作業で作成した高品質な問題
- コンテキスト長: 最大2Mトークン対応
- 6つのタスクカテゴリ: 単一文書QA、多文書QA、要約、Few-Shot学習、合成タスク、コード理解
- 漸進的難易度: コンテキスト長の増加に伴う精度劣化を精密に測定
ベンチマーク選択ガイド
| 評価目的 | 推奨ベンチマーク | 理由 |
|---|---|---|
| 基本的な検索精度 | NIAH + Multi-NIAH | 実装容易、可視化しやすい |
| 総合的なコンテキスト活用能力 | RULER | 検索/集約/追跡/QAの4軸 |
| 超長文の実用性能 | InfiniteBench | 100K超の極長文タスク |
| データ汚染の心配がない評価 | BAMBOO | 汚染回避設計 |
| 人間レベルの難易度 | LongBench v2 | 手作業問題503件 |
| 日本語を含む多言語評価 | LongBench | 多言語サブセットあり |
よくある質問（FAQ）
Q1: モデルのスペック上のコンテキスト長と実効コンテキスト長はどう違いますか？ A: スペック上のコンテキスト長はモデルが技術的に受け付ける最大トークン数。実効コンテキスト長はベンチマーク（特にRULER）でスコア90以上を維持できる長さ。例えばYi-34B-200Kはスペック200Kだが、RULERで90以上を維持できるのは約16Kまで。購入・選定時はスペック値ではなくベンチマークスコアで判断すべき。
Q2: NIAHテストで100%のモデルは完璧な長文処理ができますか？ A: いいえ。NIAHは「単一事実の文字通りの検索」しか測定しない。複数情報の統合、要約、推論など高度なタスクではNIAH 100%のモデルでも大幅に精度が低下する場合がある。RULERやInfiniteBenchなど多面的なベンチマークで総合評価することが重要。
Q3: 自社のユースケースに適したベンチマークをどう選べばよいですか？ A: まずNIAHで基本的な検索精度を確認し、次にRULERで総合能力を評価するのが標準的なアプローチ。特定ドメイン（法律文書、医療記録、コードベース）では、実データに基づくカスタムベンチマークを作成することが最も信頼性が高い。カスタム作成時は位置バイアス（先頭/末尾偏重）を避ける設計が重要。
Q4: ベンチマークのデータ汚染（contamination）はどう対処すべきですか？ A: 多くのLLMの学習データにベンチマーク問題が含まれている可能性がある。BAMBOOは汚染回避を設計に組み込んでおり、LongBench v2も新規作成問題で汚染リスクを最小化している。公平な評価のためには、(1) 複数ベンチマークの併用、(2) 新規問題でのカスタム評価、(3) 汚染回避設計のベンチマーク優先使用が推奨される。
まとめ
- ロングコンテキストベンチマークは2023年以降急速に発展し、10種以上の標準的な評価体系が確立
- NIAHは最もシンプルだが検索精度しか測定できない
- RULERが検索/集約/追跡/QAの4軸で最も包括的な評価を提供
- スペック上のコンテキスト長と実効コンテキスト長は大きく乖離する場合がある
- 実用的なモデル選定にはRULER + InfiniteBenchの組み合わせが推奨