LLM知識蒸留データ（Knowledge Distillation Data）（エルエルエムチシキジョウリュウデータ）
LLM知識蒸留データとは、大規模な教師モデル（GPT-4・Claude等）の出力を収集して小型の生徒モデルの学習に使用するデータであり、Orca方式やAlpaca方式が代表的な蒸留データ生成手法である。
LLM知識蒸留データとは
LLM知識蒸留データ（Knowledge Distillation Data）とは、GPT-4やClaude 3.5 Opusなどの大規模で高性能な「教師モデル（Teacher Model）」の出力を体系的に収集し、パラメータ数の少ない「生徒モデル（Student Model）」の学習データとして使用するための合成データセットである。蒸留の目的は、巨大モデルの知識・推論能力・指示追従能力を、推論コストが低い小型モデルに転移することにある。
蒸留データの種類と階層
| 蒸留データ種別 | 教師モデル出力 | 生徒モデルが学ぶこと | 代表手法 |
|---|---|---|---|
| 回答蒸留 | 質問への直接回答 | タスク遂行能力 | Alpaca, Vicuna |
| 推論蒸留 | 思考過程+回答 | 推論能力（CoT） | Orca, Orca 2 |
| 選好蒸留 | 良い回答/悪い回答ペア | 出力品質の判断 | UltraFeedback |
| 能力蒸留 | ツール呼び出し・コード実行 | 複合タスク能力 | Gorilla, ToolLLM |
| 知識蒸留 | 教科書風の体系的テキスト | ドメイン知識 | Phi-1, Cosmopedia |
代表的な蒸留プロジェクトの比較
| プロジェクト | 教師 | 生徒 | データ規模 | 蒸留手法 | 成果 |
|---|---|---|---|---|---|
| Alpaca | GPT-3.5 | LLaMA 7B | 52K | 回答蒸留 | ChatGPT 80%性能 |
| Vicuna | ChatGPT | LLaMA 13B | 70K (ShareGPT) | 対話蒸留 | GPT-4 90%性能 |
| Orca | GPT-4 | LLaMA 13B | 5M | 推論蒸留 | ChatGPT超え (一部タスク) |
| Orca 2 | GPT-4 | LLaMA 7B/13B | 817K | 段階的推論蒸留 | Llama 70B相当 (推論タスク) |
| Phi-1 | GPT-3.5 | 1.3B | 7B tokens | 知識蒸留 (教科書) | HumanEval 50.6% |
| Phi-2 | GPT-3.5 | 2.7B | 250B tokens | 知識蒸留 (教科書+演習) | Llama 2 70B相当 |
| WizardLM | ChatGPT | LLaMA 7B/13B | 250K | Evol-Instruct蒸留 | Alpaca Eval 90%+ |
| DeepSeek-R1蒸留 | DeepSeek-R1 | Qwen 2.5/Llama 3.1 | 800K | 推論蒸留 | o1-mini相当 (数学) |
Orca方式の詳細メカニズム
Orca（Microsoft, 2023年6月）は回答蒸留を超えた「推論プロセスの蒸留」を提案した画期的な手法である。
従来の回答蒸留（Alpaca方式）:
指示: 「15の素因数分解を求めよ」
教師回答: 「3 × 5」
→ 生徒は答えだけを模倣（推論過程を学べない）
Orca方式の推論蒸留:
指示: 「15の素因数分解を求めよ」
システムプロンプト: 「ステップバイステップで考えてください」
教師回答: 「15を素因数分解するには、まず最小の素数2で割れるか確認します。
15 ÷ 2 = 7.5 → 割り切れない。次に3で試します。
15 ÷ 3 = 5 → 割り切れる。5は素数なので終了。
よって 15 = 3 × 5」
→ 生徒は推論過程ごと学習（思考能力が転移）
Orcaはこの手法で500万件の推論蒸留データを生成し、LLaMA 13BでChatGPTを一部タスクで上回る性能を達成した。
段階的蒸留（Progressive Distillation）
Orca 2（Microsoft, 2023年11月）が提案した段階的蒸留は、タスクの難易度に応じて異なる推論戦略を教師モデルに使い分けさせる手法である。
- 簡単なタスク: 直接回答（ゼロショット）で蒸留
- 中程度のタスク: Few-shotプロンプトで蒸留
- 難しいタスク: ステップバイステップ推論（CoT）で蒸留
- 非常に難しいタスク: プラン→実行→検証の3段階で蒸留
この結果、Orca 2 7BモデルはLlama 2 70B（10倍のパラメータ数）と同等の推論性能を達成した。
蒸留データ生成のコスト構造
| コスト要素 | GPT-4 API | Claude 3.5 API | ローカルLlama 70B |
|---|---|---|---|
| 1件あたりの入力トークン | 約500 | 約500 | 約500 |
| 1件あたりの出力トークン | 約1,000 | 約1,000 | 約1,000 |
| 1件あたりのコスト | $0.045 | $0.018 | $0.002 (GPU償却) |
| 100K件の総コスト | $4,500 | $1,800 | $200 |
| 1M件の総コスト | $45,000 | $18,000 | $2,000 |
蒸留の法的・倫理的課題
- OpenAI利用規約: GPT出力でOpenAIと競合するモデルの学習を禁止（2024年改訂で明確化）
- Anthropic利用規約: Claude出力による競合モデル学習は利用規約で制限
- オープンモデルの台頭: Llama 3.1・Qwen 2.5・DeepSeek-V3はApache 2.0/MITで蒸留利用可能
- EU AI Act: 合成データの出自追跡（Data Provenance）が2026年以降義務化の可能性
2025-2026年の最新動向
- DeepSeek-R1蒸留（2025年1月）: 671BのDeepSeek-R1から推論チェーンを蒸留し、Qwen 2.5 32BとLlama 3.1 70Bベースの蒸留モデルが数学・コードでo1-mini相当の性能を達成
- 自己蒸留（Self-Distillation）: 同一モデルの強い出力を弱い出力の改善に使う手法。LLaMA 3.1でMeta自身が実施
- Multi-Teacher蒸留: 複数の教師モデル（GPT-4 + Claude + Gemini）からの出力を統合して蒸留
- 選択的蒸留: 教師モデルが生徒モデルより明確に優れているタスクのみを選んで蒸留する手法
よくある質問（FAQ）
Q1: 蒸留で教師モデルの何%の性能が転移できるのか？ A: タスクと蒸留手法に依存する。回答蒸留（Alpaca方式）では教師の70-80%、推論蒸留（Orca方式）では80-95%の性能転移が報告されている。DeepSeek-R1の蒸留では数学タスクで教師の95%以上の性能を達成したが、汎用タスクでは80%程度にとどまる。
Q2: 小型モデルへの蒸留には何件のデータが必要か？ A: モデルサイズと目標性能に依存する。7Bモデルには50K〜500K件、1-3Bモデルには100K〜1M件が目安。ただしPhi-1（1.3B）はわずか10億トークンの高品質蒸留データでHumanEval 50.6%を達成しており、データ品質が量より重要。
Q3: 蒸留と通常のファインチューニングの違いは何か？ A: 通常のファインチューニングは人手作成データで学習するが、蒸留は教師モデルが生成したデータで学習する。蒸留の利点はスケーラビリティ（数百万件を低コストで生成可能）と教師モデルの暗黙知の転移。欠点は教師モデルのバイアス・ハルシネーションの継承リスク。
まとめ
- 知識蒸留データは教師モデルの能力を小型モデルに転移する合成データ
- 回答蒸留→推論蒸留→段階的蒸留と手法が高度化し、性能転移率が向上
- DeepSeek-R1蒸留によりオープンモデルでもo1-mini相当の推論能力が実現可能に
- 法的リスク回避のためオープンライセンスモデルからの蒸留が主流化