ベンチマーク汚染（ベンチマークオセン）
LLMの訓練データにベンチマークテストの問題・解答が混入することで、評価スコアが実際の能力を過大に反映する現象。MMLU・GSM8K・HumanEvalなど主要ベンチマークで確認されている。
ベンチマーク汚染とは
ベンチマーク汚染（Benchmark Contamination）は、LLMの訓練データにベンチマークの問題文や正解が含まれてしまい、モデルが「暗記」によって高スコアを達成する現象である。2023年のGPT-4技術レポートでOpenAIが自社モデルの汚染分析を公開したことで広く認知された。
汚染が確認された主要ベンチマーク
言語理解・知識系
| ベンチマーク | 問題数 | 汚染報告 | 影響度 |
|---|---|---|---|
| MMLU | 15,908問 | GPT-4, Yi-34B, Qwen-72B | 高 |
| HellaSwag | 10,042問 | Llama 2, Falcon | 中 |
| ARC-Challenge | 2,590問 | 複数モデル | 中 |
| TruthfulQA | 817問 | 汚染は少ないが設計上の問題 | 低 |
| Winogrande | 1,767問 | 間接汚染の可能性 | 低～中 |
コード生成系
| ベンチマーク | 問題数 | 汚染報告 | 影響度 |
|---|---|---|---|
| HumanEval | 164問 | Phi-1, CodeLlama | 高 |
| MBPP | 974問 | 複数モデル | 中 |
| SWE-Bench | 2,294問 | GitHubリポジトリ由来の汚染 | 中 |
| LiveCodeBench | 動的生成 | 汚染耐性設計 | 非常に低い |
数学・推論系
| ベンチマーク | 問題数 | 汚染報告 | 影響度 |
|---|---|---|---|
| GSM8K | 8,792問 | Qwen, Yi | 高 |
| MATH | 12,500問 | 数学フォーラム由来の汚染 | 中 |
| BBH (BIG-Bench Hard) | 6,511問 | 間接汚染の可能性 | 低～中 |
汚染の定量的測定手法
文字列一致ベースの検出
最も単純かつ効果的な手法。訓練データとベンチマーク問題文のn-gram一致率を計算する。
- 8-gram overlap: 連続8トークンの一致で汚染と判定（GPT-4技術レポートで使用）
- 13-gram overlap: より厳密な基準。偶然一致の可能性を低減
- Longest Common Substring: 最長共通部分文字列の長さで判定
パープレキシティベースの検出
汚染データに対するモデルのパープレキシティ（予測困難度）が、未汚染データと比較して有意に低い場合、そのデータを「見たことがある」と推定する。
- Min-k% Prob: 出力トークンの確率分布で下位k%の平均を比較
- Ref-based Perplexity: 参照モデルとのパープレキシティ比で判定
- zlib Entropy: 圧縮率との比較によるメンバーシップ推定
性能比較ベースの検出
同一知識領域で「汚染対象の問題」と「新規作成した問題」のスコア差を比較する。有意な差がある場合、汚染の存在を示唆する。
汚染耐性のあるベンチマーク設計
| ベンチマーク | 更新頻度 | 汚染対策 | 開始年 |
|---|---|---|---|
| LiveBench | 毎月 | 新規問題のみ使用、過去問は公開 | 2024 |
| Chatbot Arena | リアルタイム | 人間による相対評価（Elo/Bradley-Terry） | 2023 |
| Arena-Hard | 四半期 | 人間評価との高相関問題を自動選定 | 2024 |
| SEAL Leaderboard | 非公開 | テストセット完全非公開 | 2024 |
| LiveCodeBench | 毎月 | LeetCode新規出題のみ | 2024 |
よくある質問（FAQ）
Q1: MMLUのスコアはもう参考にならないのですか？ A: 単独指標としての信頼性は低下している。MMLUで90%超のモデル同士の差は汚染度の違いかもしれない。MMLU-Pro（より難しい改訂版）やLiveBenchとの組み合わせで判断するのが現実的。
Q2: ベンチマーク汚染を完全に防ぐことは可能ですか？ A: 完全防止は困難。訓練データのスケールが大きいほど、あらゆるWeb公開ベンチマークが混入するリスクがある。動的ベンチマーク（毎月更新）や非公開テストセットによる回避策が現在の最善手。
Q3: 汚染を考慮した上でLLMの真の性能を測るにはどうすればよいですか？ A: 複数の評価軸を組み合わせることが重要。Chatbot Arena（人間評価）+ LiveBench（動的）+ 自社タスク固有のベンチマークの3本柱が推奨される。単一ベンチマークへの依存はリスクが高い。
まとめ
- ベンチマーク汚染はMMLU・GSM8K・HumanEvalなど主要評価で確認済み
- n-gram一致やパープレキシティ比較で検出可能だが完全ではない
- LiveBench・Chatbot Arenaなど汚染耐性設計のベンチマークが台頭
- モデル評価には複数指標の組み合わせが必須