LLMの訓練データにベンチマークや評価用データが混入し、モデルの性能測定が不正確になる現象。公平な評価を阻害する重大な課題として研究が進む。
LLMデータ汚染（Data Contamination）とは、大規模言語モデルの事前訓練データにベンチマークテストの問題や正解データが含まれてしまい、評価結果が実際の汎化性能を反映しなくなる現象である。2023年以降、GPT-4やLlama 2など主要モデルで汚染の存在が次々と報告され、LLM評価の信頼性に関わる根本的な問題として認識されている。
大規模言語モデルの訓練には数兆トークン規模のWebクロールデータが使用される。Common Crawl（約3.1兆トークン）やThe Pile（825GBテキスト）、RedPajama（1.2兆トークン）などのコーパスは、学術論文・Wikipedia・GitHubリポジトリ・フォーラム投稿を含んでおり、これらにベンチマークの問題文や解答が自然に含まれてしまう。
| モデル | ベンチマーク | 報告年 | 汚染の影響 |
|---|---|---|---|
| GPT-4 | MMLU | 2023 | 一部カテゴリで5-10%のスコア過大評価の可能性 |
| Llama 2 | HellaSwag | 2023 | 訓練データにHellaSwagの問題文が直接含有 |
| Phi-1 | HumanEval |
| 2023 |
| コード生成ベンチマークの問題がGitHub由来データに含有 |
| Yi-34B | MMLU | 2024 | 高スコアの一因として訓練データ汚染が指摘 |
| Qwen-72B | GSM8K | 2024 | 数学ベンチマークの解法パターンが訓練データに存在 |
汚染されたベンチマークでは、モデルが「問題を理解して解いている」のか「訓練時に暗記した答えを再現している」のかが区別できない。MMLUで90%超のスコアを記録するモデルが、同じ知識領域の新規問題では70%程度しか正答できないケースが報告されている。
訓練データの構成はモデルごとに異なるため、汚染度にもばらつきがある。汚染が少ないモデルが不当に低い評価を受け、汚染が多いモデルが過大評価される逆転現象が起こりうる。
| 手法 | 説明 | 精度 | コスト |
|---|---|---|---|
| n-gram重複排除 | 8-gram以上の一致でフィルタ | 高い直接汚染検出 | 低い |
| MinHash + LSH | 近似重複検出（Jaccard類似度0.8以上を除外） | 中程度 | 中程度 |
| エンベディング類似度 | 意味的に同一のデータを検出 | 間接汚染にも有効 | 高い |
| Bloom Filter | 大規模データの高速メンバーシップ判定 | 偽陽性あり | 非常に低い |
| ツール名 | 開発元 | 手法 | 対象 |
|---|---|---|---|
| contamination-detector | Stanford | n-gram overlap | テキスト全般 |
| LM Contamination Index | AI2 | パープレキシティ比較 | 言語モデル全般 |
| Data Portraits | Google Research | Bloom Filter | 大規模コーパス |
| Membership Inference | Various | 統計的仮説検定 | 特定データポイント |
| Benchmark Contamination Checker | Hugging Face | 文字列マッチング | HFモデル |
Q1: データ汚染はモデル開発者が意図的に行うものですか？ A: ほとんどの場合は意図的ではない。数兆トークンのWebクロールデータからベンチマークデータを完全に除外することは技術的に困難であり、間接汚染（解説記事経由）の排除はさらに難しい。ただし、一部のモデルで意図的な汚染が疑われるケースも報告されている。
Q2: 汚染されたベンチマークのスコアはまったく信用できないのですか？ A: 完全に無意味ではないが、絶対値としての信頼性は低い。相対的な比較（同一訓練データを使用したモデル間）や、汚染検出後の補正スコアは参考になる。より信頼できる評価にはLiveBenchやChatbot Arenaなどの動的評価が推奨される。
Q3: 個人や企業がLLMを選定する際に汚染問題をどう考慮すべきですか？ A: ベンチマークスコアだけでなく、実際のユースケースに近いタスクで独自評価を行うことが重要。Chatbot Arenaの人間評価ランキングや、LMSYS Leaderboardの汚染フラグ情報も参考になる。自社データで評価パイプラインを構築するのが最も信頼性が高い。
Q4: 今後データ汚染問題は解決に向かうのですか？ A: 完全な解決は困難だが、動的ベンチマーク（毎月更新のLiveBench）、プライベートテストセット、人間評価の併用により影響を軽減する方向に進んでいる。2025年以降はベンチマーク設計時に汚染耐性を組み込む「Contamination-Aware Evaluation」が主流になりつつある。