MiniLLM蒸留（ミニエルエルエムジョウリュウ）
大型LLMの知識を小型モデルへ転移する知識蒸留手法。逆KLダイバージェンスを最小化し、教師モデルの生成分布を効率的に模倣する2023年Microsoft Research提案のフレームワーク。
MiniLLM蒸留とは
MiniLLMは2023年にMicrosoft Researchが発表した知識蒸留（Knowledge Distillation）フレームワークで、GPT-4やLLaMAなどの大型LLMの能力を、推論コストが低い小型モデルへ効率的に転移する手法です。
従来手法との違い
知識蒸留の標準的なアプローチは、教師モデルの出力分布と生徒モデルの出力分布の順方向KLダイバージェンス（Forward KL）を最小化することです。しかしこの方法では、教師モデルが確率を広く分散させている領域（多峰性分布）をそのまま学習しようとするため、生徒モデルが「平均的」な出力を生成しやすくなる問題（mean-seeking behavior）が生じます。
MiniLLMは代わりに逆KLダイバージェンス（Reverse KL）を最小化します。これにより生徒モデルは教師モデルが高い確率を割り当てる領域に集中して学習でき、より質の高いテキスト生成が可能になります。
数式的背景
順方向KL: KL(p_teacher || p_student) — 教師の低確率領域にも過剰適合しやすい
逆方向KL: KL(p_student || p_teacher) — 生徒が教師の高確率領域に集中
MiniLLMの損失関数は逆KLとRLHFライクなポリシー勾配推定を組み合わせており、学習の安定性を高めています。
実用的な性能
LLaMA-7Bを教師としてLLaMA-1.3Bを蒸留した実験では、同サイズのSFTモデルと比較して:
- Rouge-L: +2.1ポイント向上
- GPT-4評価スコア: 平均1.3点向上（5点満点）
- 推論速度: 教師モデル比 約5.4倍高速
実装とエコシステム
MiniLLMはHugging Face Transformersと統合されており、以下のライブラリで利用可能:
minillm(公式実装、PyTorch)LLaMA-Factory経由での蒸留パイプラインTRLライブラリのGKDTrainer（Generalized Knowledge Distillation）
関連概念
- DistilBERT: BERTの知識蒸留モデル（エンコーダ系の先駆け）
- TinyLLaMA: 継続事前学習による小型化（蒸留とは異なるアプローチ）
- Speculative Decoding: 小型モデルを補助として使う推論高速化（蒸留の応用先）
まとめ
MiniLLMは逆KLという理論的に根拠のある目的関数を採用することで、同サイズの他手法より高品質な蒸留を実現します。エッジデバイス向けLLM展開やAPIコスト削減を目的としたモデル軽量化の実践的な選択肢です。