LLMベンチマーク汚染（エルエルエムベンチマークオセン）

LLMベンチマーク汚染 — 評価スコアが信用できない理由

LLMの「知能」を測るベンチマークは、モデル選定・研究進捗測定・製品比較の基準として使われる。しかしベンチマーク汚染（Benchmark Contamination）の問題が深刻化した2024-2025年、スコアの数字をそのまま信用できないケースが多数報告されている。

汚染のメカニズム

1. 収集フェーズ: CommonCrawl・C4・The Pileなど数十億ページのウェブデータをスクレイピング
2. 混入フェーズ: 試験問題サイト・解答共有サイト・GitHub Gistなどにベンチマークの問題と解答が掲載されており自動収集される
3. 学習フェーズ: モデルが問題テキストを「見たことがある」状態で学習
4. 評価フェーズ: 問題を提示すると汎化でなく記憶で正解を出力 → スコア過大評価

代表的な汚染疑惑事例

汚染の検出手法

1. N-gramオーバーラップ法 テストデータと訓練データ間の8-gram以上の一致率を計測。10%超が汚染閾値とされることが多い。

2. Perplexity比較法 対象ベンチマーク問題に対するモデルのPerplexityが低すぎる場合は「見たことがある」証拠とみなす。

3. 正確再現テスト（Verbatim Completion） 問題の冒頭を提示し、残りの正確な再現が可能か確認。逐語的再現 = 汚染の直接証拠。

4. Slot-Filling攻撃 問題中の固有名詞・数値を差し替えたパラフレーズ版でスコアが大幅下落 → 記憶に依存している証拠。

汚染対策の実践

• タイムスタンプ分離: 訓練データカットオフより後にリリースされたベンチマークを優先使用
• 動的生成: 評価のたびに問題を新規生成（LLM-as-Examiner方式）
• プライベートテストセット: 外部公開しない非公開テストセットでの評価
• 複数ベンチマーク横断評価: 1ベンチマークでなく多数の測定軸で整合性確認

2025年の主要対策ベンチマーク

• LiveBench: 毎月問題を更新し汚染を構造的に排除
• HELMET: 長文理解に特化した汚染困難な設計
• BIG-Bench Hard改訂版: 難問のみ抽出し飽和回避
• IFEval（Instruction Following Evaluation）: 新規指示生成でテスト

よくある質問（FAQ）

Q1: 汚染があると何が問題なのか？ A: モデルの実際の推論能力でなく記憶を測定してしまい、実世界タスクへの転移性能と乖離が生じる。製品選定や研究の方向性を誤らせる。

Q2: 全てのモデルで汚染が起きているのか？ A: 程度の差はあるが大規模ウェブクロールを使う限り完全回避は困難。重要なのは汚染の程度を定量化し開示すること。

Q3: 汚染を防ぐ最善の方法は？ A: 公開済みベンチマークを使わず独自テストセットを作成するか、LiveBench等の動的更新型ベンチマークを使用する。