LLMデータ漏洩検出（エルエルエムデータロウエイケンシュツ）
LLMが特定のテキスト（個人情報・著作物・テストデータ）を訓練時に記憶し、プロンプト誘導によって再現・出力できる状態を検出・定量化する手法。記憶抽出攻撃と汚染検出の両面を含む。
LLMデータ漏洩検出 — モデルが「何を覚えているか」を明らかにする
LLMの訓練データには個人情報・著作物・企業機密・ベンチマーク問題が含まれる可能性がある。LLMデータ漏洩検出（Data Leakage Detection）はモデルがこれらを記憶し再現できる状態にあるかを検出・定量化する技術領域で、プライバシー保護・著作権管理・評価整合性の観点から急速に重要性が増している。
記憶の種類（Memorization Taxonomy）
Carlini et al.（2021）が提唱した分類が業界標準：
| 記憶の種類 | 定義 | リスクレベル | 例 |
|---|---|---|---|
| 逐語的記憶（Verbatim） | 訓練テキストを一字一句再現 | 最高 | 著作物のコピー、SSN再現 |
| 近似的記憶（Approximate） | 意味的に同等な内容を再現 | 高 | 個人情報の言い換え |
| 分布的記憶（Distributional） | 訓練データの統計的特性を反映 | 中 | 特定地域の語彙パターン |
| 知識記憶（Knowledge） | 事実情報として正確に出力 | 低〜中 | 一般的な歴史的事実 |
主要な検出手法
1. 記憶抽出攻撃（Extraction Attack） 特定プレフィックスを提示しモデルに続きを生成させることで訓練データの再現を誘発する。Carlini et al. 2021でGPT-2（1.5B）でもSSN・メールアドレスの再現が可能なことが実証された。
2. Membership Inference Attack（MIA） 特定テキストがモデルの訓練データに含まれるかどうかをPerplexityの差異から推測する：
- LOSS Attack: 訓練データは非訓練データより低いPerplexityを示すという性質を利用
- Zlib比較法: gzip圧縮サイズとモデルPerplexityの比率で正規化
- 近傍比較法（MIN-K%）: 最低確率トークン上位K%の平均でMIAスコア算出
3. Verbatim Completion Test テキストの前半を提示し後半の逐語的再現をチェック。著作物漏洩訴訟で証拠として使用される手法。New York Times vs OpenAI訴訟（2023-）でこの手法による証拠が提出された。
2025年の主要検出ツール
| ツール | 組織 | 手法 | 対応モデル |
|---|---|---|---|
| extracting-training-data | Carlini et al. | 記憶抽出 | GPT-2系 |
| mimir (Duan et al.) | UMD | MIN-K%/Zlib/LOSS | 汎用 |
| data-contamination-checker | EleutherAI | N-gram+Perplexity | Pythia系 |
| LLM Privacy Benchmark | ML Commons | MIA標準化 | API経由 |
法的・倫理的含意
GDPR「忘れられる権利」との関係 EU General Data Protection Regulationは個人が自身のデータ削除を要求できる権利を保証するが、LLMは一度学習した情報を完全に「忘れる」ことが技術的に困難。機械的アンラーニング（Machine Unlearning）研究が解決策として注目されている。
著作権訴訟への影響 2023-2025年に多発したLLM著作権訴訟では、逐語的再現テストの結果が重要な証拠となっている。NY Times事件では数百語にわたる逐語的再現が確認された。
よくある質問（FAQ）
Q1: どのくらいの訓練データが記憶されているのか？ A: Carlini et al.の研究では、GPT-2の訓練データの約0.1-1%が逐語的に抽出可能と推定。大型モデルほど記憶率が高くなる傾向がある（モデルサイズと記憶は正比例）。
Q2: Differential Privacyで記憶を防げるか？ A: DP-SGD訓練（epsilon=8程度）で逐語的記憶を大幅に削減できるが、モデル品質の低下（Perplexity増加）とのトレードオフがある。
Q3: RAGシステムでも漏洩リスクはあるか？ A: RAGでは参照コーパスがそのまま出力に反映されるため、記憶よりも直接的な情報流出リスクがある。コーパスのアクセス制御とクエリログ監査が重要。