AI・機械学習
上級
MiniLLM（逆KL蒸留）（ミニエルエルエム）
Microsoft Research提案のLLM知識蒸留手法。従来の順KLダイバージェンスでなく逆KLを最適化することで教師LLMの分布を忠実に再現し、ハルシネーション低減と長文生成品質向上を実現。
0 回閲覧
0 いいね
2026/6/6 更新
関連タグ
MiniLLM
知識蒸留
逆KL
ハルシネーション低減
Microsoft Research
MiniLLM（逆KL蒸留）とは
MiniLLM（"Knowledge Distillation of Large Language Models"、2023）はMicrosoft Researchが提案したLLM専用の知識蒸留フレームワーク。従来のKD手法を自己回帰LLMに適用した際の問題点を理論的に分析し、逆KLダイバージェンス最適化を核とした改良手法を提案した。
従来KDの問題点：順KLとモード平均
標準的な知識蒸留の目的関数:
L_KL = KL(p_teacher || p_student)
この順KL（Forward KL）はゼロ回避（Zero-Avoiding）特性を持つ。教師が複数のモードを持つ場合に生徒がモード間を平均化（Mode Averaging）する問題が発生する。
例：教師が「東京」と「大阪」を50%ずつ予測するとき、生徒は両者の中間的な出力（ハルシネーション）を生成しやすくなる。
MiniLLMの解法：逆KL最適化
MiniLLMは逆KL（Reverse KL）を最小化する:
L_RevKL = KL(p_student || p_teacher)
逆KLはゼロ強制（Zero-Forcing）特性を持つ。教師が高確率で予測するモードに集中した分布を学習し、ハルシネーションを抑制できる。
実装上の工夫：Policy Gradient
逆KLの勾配計算には生徒モデルからのサンプリングが必要で直接最適化できないため、MiniLLMはPolicy Gradient（REINFORCE）で扱う:
- 生徒モデルでシーケンスをサンプリング
- 教師の対数確率で報酬を計算
- Policy Gradient更新
実験結果（論文より）
GPT-2ファミリーでの実験:
| 生徒モデル | 手法 | ROUGE-L（要約） | 事実性スコア |
|---|---|---|---|
| GPT-2 120M | SFT | 基準 | 基準 |
| GPT-2 120M | 標準KD | +0.8 | +1.2 |
| GPT-2 120M | MiniLLM | +2.1 | +3.5 |
長文生成・QA・要約タスクで既存手法を一貫して上回る。
後継研究
- DistiLLM（2024）: MiniLLMを発展させ適応型確率割当を追加
- DISTILLM（2024）: 斜めダイバージェンスでさらに安定化
- Reasoning蒸留（2025）: DeepSeek-R1のCOT蒸留にも逆KL的考え方が活用