Model Inversion Attack（LLM）（モデル インバージョン アタック エルエルエム）
LLM への API クエリを通じて学習データの一部や個人情報を再構成する攻撃手法。モデルの出力確率や反復クエリを利用して、学習時に使われたプライベートテキストを漏洩させるリスク。
Model Inversion Attack（LLM）とは
Model Inversion Attack は、機械学習モデルへのクエリアクセスだけを使って、そのモデルが学習したデータの一部を再構成・漏洩させる攻撃手法。LLM 文脈では、Nicolas Carlini ら（2021年、Google Brain）が GPT-2（15億パラメータ）に対して実施した実証実験が転換点となった。彼らの研究では、GPT-2 を連続クエリするだけで学習データに含まれる個人名・メールアドレス・電話番号・住所等の個人情報を復元できることが示された（論文: Extracting Training Data from Large Language Models, NeurIPS 2021）。
LLM の記憶（Memorization）メカニズム
なぜ LLM はデータを「記憶」するのか
- Verbatim Memorization: 学習データの一部をそのまま再生できる現象
- 発生条件: データの繰り返し出現・ユニークな内容・モデル規模の大きさ
- 定量指標: Memorization Score = モデルが特定シーケンスを正確に生成できる確率
攻撃の実施手順（Carlini et al. 2021 の手法）
- 候補シーケンス生成: GPT-2 から多数のテキストを生成（100万〜1000万トークン）
- 記憶度スコアリング: 各生成テキストに対して「モデルがどれほど確信を持って生成したか」を確率で評価
- 高スコア候補の抽出: Perplexity・Zlib 圧縮率・参照モデルとの比較でフィルタリング
- 個人情報判定: 抽出テキストに PII（個人識別情報）が含まれるか確認
結果: GPT-2 175M では 10 万生成テキストから 600+ の個人情報を抽出可能
実害事例（2023〜2025年）
| 年 | 事例 | 影響 |
|---|---|---|
| 2023 | Samsung ChatGPT 誤入力 | 社内ソースコード・会議内容が学習データ候補に混入 |
| 2023 | ChatGPT 個人情報漏洩バグ | チャット履歴が他ユーザーに表示 |
| 2024 | GitHub Copilot 学習データ | 公開リポジトリ内の秘密鍵が補完候補に出現 |
| 2024 | LLM via API でのメール復元 | Fine-tuned モデルから学習メールの部分復元（研究報告） |
防御技術
差分プライバシー（Differential Privacy, DP）
- 学習時にランダムノイズを加えることで特定データポイントの影響を希釈
- DP-SGD: 勾配クリッピング + ノイズ付加（Abadi et al. 2016）
- トレードオフ: プライバシー保護強度（ε値）↑ → モデル性能 ↓
- 採用例: Apple の On-Device ML・Google の Federated Learning
Memorization 抑制の学習テクニック
- データ重複除去: 学習データ前処理で重複テキストを除去（Memorization ↓）
- Early Stopping: 過学習前に訓練停止
- Deduplication: Near-Duplicate 検出で 50〜80% のデータ削減で Memorization 大幅低下（Lee et al. 2022）
よくある質問（FAQ）
Q1: ChatGPT などの商用 LLM は安全ですか？ A: OpenAI・Anthropic はモデルリリース前に Memorization テストを実施しており、個人情報をそのまま学習データから再生する可能性は低い。ただし完全にゼロではなく、GDPR の観点でのデータ削除要求への対応は各社で継続研究中。
Q2: 自社データで Fine-tuning したモデルはリスクが高いですか？ A: はい。少量の特定データで Fine-tuning すると Memorization Score が急上昇する。顧客情報・社員データ等を学習データに含める場合は DP-SGD の適用と学習データの事前匿名化が必須。
Q3: 「忘れられる権利」に LLM は対応できますか？ A: 2025年時点では困難。特定データポイントを「忘れる」Machine Unlearning 研究が進んでいるが、コストが高い。EU AI Act では LLM のデータ削除要求への対応義務化が検討中。
まとめ
- LLM クエリ経由で学習データの個人情報を再構成する攻撃
- Carlini et al.（2021）が GPT-2 で実証し LLM プライバシー研究を加速
- 防御の核心は DP-SGD による学習時保護 + データ重複除去
- GDPR の「忘れられる権利」と直接衝突する法的課題を孕む