AI・機械学習
中級
ナレッジディスティレーション（LLM）（ナレッジディスティレーション）
大規模な教師モデル（Teacher）の知識を小規模な生徒モデル（Student）に転移する機械学習技術。LLM圧縮・軽量化の中心的手法で2015年にHinton等が提案。
0 回閲覧
0 いいね
2026/6/6 更新
関連タグ
知識蒸留
モデル圧縮
LLM軽量化
Teacher-Student
ai
ナレッジディスティレーション（Knowledge Distillation）とは
Knowledge Distillation（知識蒸留、KD）は、訓練済みの大規模モデル（教師：Teacher）が持つ知識を、より小規模なモデル（生徒：Student）に転移する機械学習の訓練技術。2015年にGeoffrey Hinton、Oriol Vinyals、Jeff Deanが提案した。
基本的な仕組み
通常のモデル訓練では正解ラベル（ハードラベル）のみを使用するが、知識蒸留では教師モデルのソフトラベル（各クラスへの確率分布）を追加の監督シグナルとして活用する。
通常訓練: 損失 = CrossEntropy(予測, 正解)
知識蒸留: 損失 = α×CE(予測, 正解) + (1-α)×KLDiv(予測/T, 教師出力/T)
温度パラメータTによりソフトラベルの分布を調整。T>1でよりなめらかな分布となり、クラス間の類似性情報が生徒に伝わりやすくなる。
LLMでの知識蒸留の種類
1. 出力蒸留（Response-Based）
教師LLMが生成したテキストや確率分布を学習データとして使用。GPT-4の出力でLLaMAをファインチューニングするAlpacaスタイルがこれに相当。
2. 特徴蒸留（Feature-Based）
教師の中間層の隠れ状態やAttention Patternを生徒の訓練ターゲットとして使用。DistilBERTが採用。
3. 関係蒸留（Relation-Based）
サンプル間の類似性・関係性を教師から生徒に転移。Contrastive Knowledge Distillationなど。
主要な蒸留済みモデル
| モデル | 教師 | パラメータ比 | 性能保持率 |
|---|---|---|---|
| DistilBERT | BERT-base | 40%削減 | 97% |
| TinyBERT | BERT | 87%削減 | 96% |
| TinyLlama-1.1B | Llama2-7B | 84%削減 | ~75% |
| Phi-2 | 大型プロプライエタリ | 2.7B | 高コスパ |
| Gemma-2B | Gemma-7B+ | 2B | 競合水準 |
Soft Label の「暗黒の知識」
教師が「犬」画像に{犬:0.8, オオカミ:0.15, キツネ:0.05}と予測するとき、{犬:1.0}のハードラベルに含まれないクラス間類似性が符号化されている。この情報（暗黒の知識: Dark Knowledge）が蒸留の本質的な価値。
2025年のLLM知識蒸留トレンド
- Reasoning蒸留: o1/R1などの思考プロセス（COT）を小型モデルに蒸留（DeepSeek-R1-Distill-Qwen-7B等）
- 逆KL蒸留: MiniLLMが提案する逆KLダイバージェンス最適化でハルシネーション低減
- 選択的蒸留: 特定能力（数学/コーディング）のみを蒸留する手法が増加
注意点
- 教師より大幅に小さいモデルには蒸留効果に上限がある
- 教師の誤りも生徒が学習する可能性（Hallucination伝播）
- 商用LLMの出力で蒸留する場合は利用規約の確認が必須