教師-生徒蒸留（キョウシセイトジョウリュウ）
教師-生徒蒸留（Teacher-Student Distillation）とは、大きな教師モデルの出力を小さな生徒モデルが模倣するように訓練する知識転移手法である。コンテキスト蒸留の中核メカニズムとして、推論効率とモデルサイズの最適化に広く活用される。
教師-生徒蒸留は、大規模な教師モデル（Teacher）が生成した高品質な出力を、より小さな生徒モデル（Student）が再現できるように訓練するフレームワークである。2015年にHintonらが提案した知識蒸留の概念を基礎としつつ、LLM時代には出力分布の転写だけでなく、推論過程（Chain-of-Thought）や振る舞い（安全性ルール）の転移にまで拡張されている。
概要
教師-生徒蒸留の基本原理は、教師モデルの「ソフトラベル」（確率分布）を生徒モデルの学習シグナルとして利用することにある。ハードラベル（正解のみ）と異なり、ソフトラベルには「ほぼ正解の候補」「文脈的に妥当な代替」といった豊富な情報が含まれるため、少ないデータでも効率的な学習が可能である。
2026年現在の主要な適用パターン：
- Llama 3.1: 405Bパラメータの教師から70B/8Bへの3段階蒸留（Meta, 2024年）
- Gemma 2: 27Bから9B/2Bへの蒸留でベンチマーク上位を達成（Google, 2024年）
- Phi-4: GPT-4レベルの出力を3.8Bパラメータモデルに蒸留（Microsoft, 2025年）
- Qwen3: 235B MoEから32B/14B/8Bへの段階的蒸留（Alibaba, 2025年）
主な特徴・仕組み
- KL Divergence Loss: 教師と生徒の出力確率分布間のKLダイバージェンスを最小化
- 温度パラメータ（T）: T=1.0-5.0の範囲でソフトラベルの滑らかさを制御（高温ほど情報量増加）
- 特徴量蒸留: 中間層の特徴表現も転移対象とし、より深い知識移転を実現
- 段階的蒸留: 405B→70B→8Bのように、サイズを段階的に縮小
- タスク固有蒸留: 特定タスク（コード生成、数学推論等）に特化した蒸留データで最適化
- オンライン蒸留: 教師と生徒を同時に学習させる共同最適化
- 自己蒸留: 同一モデルの異なるチェックポイント間で蒸留を行い品質を段階的に向上
教師-生徒蒸留の比較
| モデルペア | パラメータ比 | ベンチマーク維持率 | 推論速度向上 | 用途 |
|---|---|---|---|---|
| GPT-4→GPT-4o-mini | 推定10:1 | 85-90% | 5-8x | API低コスト |
| Llama 405B→70B | 5.8:1 | 92-95% | 4-5x | オンプレ推論 |
| Llama 405B→8B | 50:1 | 80-87% | 30-40x | エッジ推論 |
| Gemma 27B→2B | 13.5:1 | 78-85% | 10-15x | モバイル |
| Qwen3 235B→8B | 29:1 | 82-88% | 20-25x | 軽量デプロイ |
実装フレームワーク
HuggingFace TRL
# TRLのDistillation Trainerで教師-生徒蒸留を実装
# distillation_config でKL温度、学習率、エポック数を設定
NVIDIA NeMo
NeMo Frameworkに蒸留パイプラインを標準搭載。TensorRT-LLMとの連携で蒸留後モデルの推論最適化まで一貫して実行可能。
vLLM + Distillation
vLLMの高速推論エンジンで教師モデルの出力を大量生成し、蒸留データセットを効率的に構築。Continuous Batchingにより教師推論のスループットを最大化。
よくある質問（FAQ）
Q1: 教師モデルはどの程度大きい必要がありますか？ A: 一般的に教師は生徒の3-10倍以上のパラメータ数が推奨されます。ただしMoE（Mixture-of-Experts）モデルを教師とする場合、アクティブパラメータ数ベースで2-5倍でも十分な蒸留効果が得られます。Phi-4（3.8B）のようにGPT-4級の出力で蒸留する極端なケースも成功例があります。
Q2: 蒸留にはどの程度のGPUリソースが必要ですか？ A: 生徒モデルのサイズに依存します。8Bモデルへの蒸留なら8xA100（80GB）で1-3日、70Bモデルでは32-64xA100で1-2週間が目安です。教師モデルの推論（データ生成フェーズ）にも同等のリソースが必要です。
Q3: 蒸留はモデルのライセンスに抵触しますか？ A: モデルの利用規約に依存します。Meta Llama 3.1は蒸留を明示的に許可していますが、OpenAI GPT-4の出力を使って競合モデルを訓練することは利用規約で制限されています。オープンソースモデル（Apache 2.0/MIT）を教師とする場合は一般的に問題ありません。
まとめ
- 教師-生徒蒸留は大モデルの知識を小モデルに転移する基盤技術
- KL Divergence Loss + 温度パラメータで出力分布を効率的に転写
- Llama 405B→8Bで50:1の圧縮率、推論30-40倍高速化を実現
- HuggingFace TRL、NVIDIA NeMo、vLLMなど主要フレームワークが対応
- ライセンス確認が必須（特に商用モデルの出力を利用する場合）