LLM知識蒸留（エルエルエムチシキジョウリュウ）
大規模な教師モデル（Teacher）の知識を小規模な生徒モデル（Student）に転写する圧縮技術。モデルサイズを10-50倍縮小しつつ教師の80-95%の性能を維持する。TinyLlama、Phi-4 Mini、Gemma 2 2Bなどが代表的な蒸留モデルである。
LLM知識蒸留とは
LLM知識蒸留（Knowledge Distillation）は、大規模な教師モデルの出力確率分布や中間表現を小規模な生徒モデルに学習させ、モデルサイズを大幅に縮小しつつ高い性能を維持する技術である。Hintonら（2015年）が提案した「Dark Knowledge」の概念がLLM時代に再定義され、2025-2026年には3-8Bパラメータの高性能小型モデル群の主要な生成手法となっている。
概要
知識蒸留の核心は、教師モデルの「ソフトラベル」（確率分布）に含まれる暗黙知を活用することにある。ハードラベル（正解トークンのみ1、他は0）と異なり、教師の出力分布は「'machine' の次に 'learning' が来る確率が0.3で 'translation' が0.15」のようなトークン間の関係性情報を含む。この分布をTemperatureパラメータ（通常T=2-4）で平滑化し、生徒モデルのKL Divergence損失として最適化する。
2025-2026年のLLM蒸留のトレンド：
- On-Policy Distillation: 生徒自身が生成したテキストに対して教師がフィードバック。GKD（Generalized Knowledge Distillation）が代表
- Self-Distillation: 同一モデルの異なるチェックポイント間で蒸留。追加モデル不要
- Multi-Teacher Distillation: 複数の教師モデルのアンサンブルから蒸留。多様性向上
- Progressive Distillation: 70B→13B→7B→3Bと段階的にサイズ縮小。一段ずつ蒸留
蒸留の主要手法と比較
| 手法 | 教師→生徒 | 蒸留方式 | 精度維持率 | 代表例 |
|---|---|---|---|---|
| ロジット蒸留 | 出力確率分布 | KL Divergence | 85-95% | MiniLLM, distilabel |
| 特徴量蒸留 | 中間層表現 | MSE / CKA | 80-90% | TinyBERT, DistilGPT |
| データ蒸留 | 合成データ | SFT on 教師出力 | 75-90% | Alpaca, Vicuna, Orca |
| GKD (On-Policy) | 生徒生成+教師評価 | Reverse KL | 90-97% | GKD, MiniLLM |
| Self-Distillation | 同一モデル内 | KL / DPO | 95-100% | SPIN, Self-Play |
| Progressive | 段階的縮小 | 多段KL | 85-95% | BabyLlama |
代表的な蒸留モデル
TinyLlama 1.1B（2024年）
- 教師: Llama 2 7B + 大規模コーパス（3Tトークン）
- 生徒: 1.1Bパラメータ（Llama 2アーキテクチャ縮小版）
- 性能: CommonSenseQA 55.4%（Llama 2 7Bの70%水準）、ARC-E 72.3%
- 推論: RTX 3060 12GBでFP16推論可能、INT4で6GB以下
- 特徴: コーパス量で補償する戦略（小モデル×大データ）
Phi-4 Mini 3.8B（Microsoft, 2025-2026）
- 教師: GPT-4クラスの大規模モデル + 高品質合成データ
- 生徒: 3.8Bパラメータ（Transformer改良アーキテクチャ）
- 性能: MMLU 73.2%（Llama 3.1 8Bの90%水準）、HumanEval 67.1%
- 推論: スマートフォン（iPhone 16 Pro、8GB RAM）でINT4推論可能
- 特徴: データ品質重視（Textbooks Are All You Need哲学の進化形）
Gemma 2 2B（Google, 2024）
- 教師: Gemini Ultra / Pro系モデル
- 生徒: 2Bパラメータ（効率的なアーキテクチャ設計）
- 性能: MMLU 56.9%、HellaSwag 73.0%（2Bクラスで最高水準）
- 推論: Pixel 8以降のAndroidデバイスでon-device推論
- 特徴: グループクエリアテンション + ローカル/グローバルアテンション交互配置
Orca 2 7B/13B（Microsoft, 2023）
- 教師: GPT-4（合成データ生成）
- 生徒: Llama 2 7B/13B（フルファインチューニング）
- 性能: 13Bモデルが複雑推論タスクでGPT-4の85%水準
- 特徴: 推論過程（Chain-of-Thought）も含めて蒸留。「考え方」を転写
蒸留パイプラインの実践
データ準備
- 教師モデルで10万-100万件の高品質応答を生成（GPT-4 API利用時コスト: $500-5000）
- データフィルタリング: 品質スコア下位20%を除去、多様性確保のためクラスタリング
- 合成CoT（思考過程）データの生成: 複雑なタスクでは教師の推論ステップも蒸留
訓練設定（7B生徒モデル典型例）
- GPU: A100 80GB × 4-8枚
- 学習率: 2e-5（コサインスケジューラ）
- バッチサイズ: 128-256
- エポック: 3-5
- Temperature: T=2.0（ロジット蒸留時）
- 損失関数: α×CE(hard_label) + (1-α)×KL(soft_label)、α=0.5が標準
蒸留ツール
- distilabel（Argilla）: HuggingFace統合の蒸留パイプライン。多教師/多タスク対応
- TRL（HuggingFace）: SFTTrainerに蒸留損失を統合。DPOとの組み合わせも可能
- LMFlow: 大規模蒸留に特化したフレームワーク。分散訓練最適化
よくある質問（FAQ）
Q1: 蒸留モデルの性能上限は教師モデルを超えられるか？ A: 原理的には超えない。ただし特定タスクでは生徒が教師を上回るケースがある（Self-Distillationや、教師のノイズがフィルタリングされる場合）。Phi-4 Miniが一部ベンチマークで教師超えを報告しているが、これは高品質データセレクションの効果が大きい。
Q2: GPT-4の出力で蒸留したモデルはライセンス上問題ないか？ A: OpenAI利用規約ではGPT-4出力を用いた競合モデル訓練を禁止している（2024年規約）。商用利用にはオープンソース教師（Llama 3.1 405B、Qwen 2.5 72B等）の使用が安全。Gemma 2やPhi-4はベンダー自社の大規模モデルから蒸留しているため問題なし。
Q3: 蒸留と量子化はどちらが効果的か？ A: 用途が異なる。量子化は同一アーキテクチャの数値精度を下げる（70B FP16→70B INT4で4倍圧縮）。蒸留はアーキテクチャ自体を小型化する（70B→7Bで10倍圧縮）。両者は組み合わせ可能で、蒸留7Bモデル+INT4量子化で実質40倍以上の圧縮を実現できる。
まとめ
- LLM知識蒸留は教師モデルの出力分布を生徒に転写し、10-50倍のサイズ縮小を実現
- Phi-4 Mini 3.8BやGemma 2 2Bなど、蒸留技術が小型高性能モデルの主要生成手法に
- On-Policy蒸留（GKD）が2026年の最先端で、従来のオフライン蒸留より高精度
- 量子化との組み合わせで40倍以上の実効圧縮が可能