LLMモデル抽出攻撃（エルエルエムモデルチュウシュツコウゲキ）

LLMモデル抽出攻撃とは

モデル抽出攻撃（Model Extraction Attack / Model Stealing Attack）は、ブラックボックスAPIアクセスのみで対象モデルの機能を複製するサロゲートモデルを作成するセキュリティ攻撃。2016年のTramer et al.の研究で体系化され、LLMの大規模化に伴いビジネスリスクが急拡大している。

攻撃の動機

コスト回避：GPT-4などの高コストAPIをサロゲートモデルで代替し、推論コストを大幅削減

知的財産窃取：企業が多大な投資で訓練したモデルの能力を不正複製

後続攻撃の準備：ホワイトボックスアクセスを得ることで、転移可能な敵対的サンプルの生成や詳細な脆弱性分析が可能になる

競合優位の獲得：競合他社のモデル性能を分析・複製して製品開発を加速

攻撃手法の分類

機能等価モデル構築（Functionally Equivalent Extraction）

入出力ペアを大量収集し、知識蒸留（Knowledge Distillation）でサロゲートモデルを訓練する基本的な手法。

# 攻撃の擬似コード
target_api = TargetLLMAPI(endpoint="https://api.target.com/v1/chat")

collected_pairs = []
for query in crafted_queries:  # 情報量の高いクエリを選択
    response = target_api.query(query)
    collected_pairs.append((query, response))

# サロゲートモデルの訓練
surrogate_model = train_model(
    base_model="open-source-llm",
    training_data=collected_pairs,
    method="knowledge_distillation"
)

埋め込み抽出（Embedding Extraction）

テキスト埋め込みAPIを通じて入力テキストのベクトル表現を大量収集し、モデルの意味空間を逆エンジニアリングする。Carliniら（2024）はOpenAIのtext-embedding-adaの内部次元数と重みの部分的な復元を実証。

アーキテクチャ推定

モデルの出力パターン・レイテンシ・プロバティストークンの分布などから、隠れ層数・アテンションヘッド数などのアーキテクチャ情報を推定する。

Chain-of-Thoughtからの抽出

思考連鎖（CoT）推論を有効にした場合、中間推論ステップが漏洩するため、モデルの内部思考パターンのより詳細な複製が可能になる。

実世界の事例・研究

OpenAI GPT-4対象研究（2024）：特定タスクに絞った知識蒸留で、GPT-4の70-80%の性能を持つサロゲートモデルを構築可能と報告。

Mistral/Llama蒸留問題：複数のLLMプロバイダーが、自社モデルのAPIレスポンスを学習データとして使用したとされるモデルのリリースに対し法的措置や利用規約違反を主張。

Embedding API vulnerability（Carlini et al., 2024）：埋め込みAPIからの重み復元可能性を実証した重要研究。

防御手法

レート制限・クエリ制限

# APIゲートウェイでのレート制限例
limit_req_zone $binary_remote_addr zone=api:10m rate=60r/m;
limit_req zone=api burst=10 nodelay;

出力摂動（Output Perturbation）

予測結果にわずかなノイズを加えてサロゲートモデルの訓練を困難にする。精度と摂動量のトレードオフが課題。

ウォーターマーキング

モデルの出力にステガノグラフィー的なウォーターマークを埋め込み、抽出されたモデルでもマーク検出可能にする研究が進む。

異常クエリ検知

同一ユーザーからの多様なトピックにわたる大量クエリを機械学習で検知し、抽出攻撃の可能性としてフラグを立てる。

利用規約による法的保護

OpenAI・Anthropicなどは利用規約でモデルの複製・蒸留を明示的に禁止。法的抑止力として機能するが、技術的防御の代替にはならない。

OWASP LLM Top 10との関連

OWASP LLM Top 10 2025版ではLLM10「モデル盗難」として分類。組織のAI資産保護の観点から重要なリスクとして位置づけられる。