Membership Inference Attack（LLM）（メンバーシップ インファレンス アタック エルエルエム）

Membership Inference Attack（LLM）とは

Membership Inference Attack（MIA、メンバーシップ推定攻撃）は、「特定のテキストが対象 LLM の学習データセットに含まれていたかどうか」を、モデルへの API クエリだけで推定する攻撃・検証手法。元々は Shokri et al.（2017, CCS）が画像分類モデルを対象に提唱し、2021〜2025年にかけて LLM 固有の手法が多数開発された。

攻撃の用途（攻守両面）

主要手法

1. Likelihood Ratio Test（最尤比検定）

最も基本的な手法。対象テキストをモデルに入力した際の対数尤度と、参照モデル（類似だが対象データを見ていないモデル）の対数尤度を比較する。スコアが高いほど「学習データに含まれる可能性が高い」と判定。

2. Min-K% Prob（2023年 ICLR）

入力テキスト中の下位 K% トークン（最も予測しにくいトークン）の対数確率平均を利用。学習データでは「珍しいトークン」も高確率で生成できるという特性を活用する。

3. Shadow Model Attack

• 対象モデルと同アーキテクチャの「影モデル」を複数学習
• 影モデルの Member/Non-member 挙動パターンを分類器に学習させる
• 精度: 高いが計算コストが非常に高い（実用的でないケースも多い）

4. MIMIR（2024年）

複数の MIA 手法を統合評価するベンチマークライブラリ。Min-K%・Likelihood Ratio・DC-PDD 等を統一 API で比較評価可能。

LLM での MIA 精度（2024年研究サマリー）

（AUC=0.5: ランダム / 1.0: 完全識別。LLM MIA は概して精度が低く実用的な攻撃には追加工夫が必要）

法的・倫理的含意

• 著作権訴訟: New York Times vs OpenAI（2023〜）・Books3 著者訴訟で MIA が証拠として活用される可能性
• GDPR Article 17: 「忘れられる権利」の履行確認に MIA を活用できるという主張
• EU AI Act: 高リスク AI システムへの学習データ文書化義務 → MIA で検証可能性が増す

よくある質問（FAQ）

Q1: Min-K% Prob で著作権侵害を確実に証明できますか？ A: 現状の MIA 精度（AUC 0.65〜0.75）では False Positive / False Negative が多く、法的証拠として単独では不十分。テキストの検索一致・モデルの直接引用確認との組み合わせが実務的。

Q2: 差分プライバシーを使えば MIA を防げますか？ A: 効果的。DP-SGD 適用時（ε=8）では MIA AUC が 0.5（ランダム）付近まで低下した報告がある。ただしモデル性能も低下するため ε 値の調整が重要。

Q3: Fine-tuning データへの MIA は学習データ全体への MIA より難しいですか？ A: 逆に簡単。Fine-tuning に使われたデータはモデルパラメータへの影響が大きく、Memorization Score が高くなりやすい。Fine-tune 前後のモデル差分で判定精度が向上する。

まとめ

• 「このテキストは学習データに含まれたか？」を API クエリで推定する攻撃
• Shokri et al.（2017）→ LLM 向けに Min-K% Prob（2023）・MIMIR（2024）で高度化
• 著作権訴訟・GDPR 対応・学習データ監査の証拠手法として注目
• 差分プライバシーが最も実効的な防御策（ε 値とモデル性能のトレードオフあり）