LLM蒸留（Distillation）（エルエルエムジョウリュウ）
LLM蒸留とは、大規模言語モデル（教師モデル）の知識を小型モデル（生徒モデル）に転移する技術で、推論コストを大幅に削減しながら高い性能を維持する手法である。
大規模言語モデル（LLM）の蒸留は、数百億〜数兆パラメータの教師モデルが持つ推論能力・言語理解を、数十億パラメータ以下の生徒モデルへ効率的に転移する技術である。GPT-4（推定1.8兆パラメータ）やClaude 3 Opusクラスのモデルは1トークンあたり約$0.015の推論コストがかかるが、蒸留後の7Bモデルでは$0.0002程度まで削減でき、約75倍のコスト効率を実現する。
概要と背景
LLM蒸留は2015年にGeoffrey Hintonらが提案した知識蒸留（Knowledge Distillation）をLLMに応用した技術である。教師モデルの出力確率分布（soft label）を生徒モデルが模倣することで、単にハードラベル（正解のみ）で学習するよりも豊かな知識を獲得できる。2024年以降、Microsoft Phi-3（3.8B）がGPT-3.5相当の性能を達成し、Google Gemma 2（2B/9B）がLlama 2 70Bに匹敵するベンチマーク結果を示すなど、蒸留技術の実用性が急速に高まっている。
蒸留の主要アプローチ
LLM蒸留には大きく分けて3つのアプローチが存在する：
- Logit蒸留: 教師モデルの出力logitを温度パラメータで平滑化し、生徒が模倣する。KL-divergence損失を使用。計算コストは高いが精度が最も高い
- Feature蒸留: 教師の中間層の隠れ状態を生徒が模倣する。Attention Transfer、FitNetsが代表例。レイヤー数の異なるモデル間で適用可能
- 合成データ蒸留: 教師モデルで高品質な学習データを生成し、生徒をファインチューニングする。APIアクセスのみで実行可能で最も手軽
代表的な蒸留モデル比較
| モデル | パラメータ数 | 教師モデル | ベンチマーク（MMLU） | 推論速度（tokens/s） | 特徴 |
|---|---|---|---|---|---|
| Phi-3 Mini | 3.8B | GPT-4合成データ | 69.4% | 142 | Microsoft、テキストブック品質データ |
| Gemma 2 2B | 2.6B | Gemma 2 27B | 56.1% | 198 | Google、知識蒸留+RLHF |
| Llama 3.2 3B | 3.2B | Llama 3.1 405B | 63.4% | 167 | Meta、logit蒸留 |
| Qwen 2.5 0.5B | 0.5B | Qwen 2.5 72B | 47.5% | 312 | Alibaba、Edge向け |
| Mistral Small | 8B | Mistral Large | 70.6% | 89 | Mistral、商用ライセンス |
蒸留のワークフロー
蒸留プロセスは以下の5段階で構成される：
- 教師モデル選定: タスク性能・ライセンス・APIアクセス可否を評価
- データ準備: 教師モデルでの推論結果収集（logit/テキスト）。100万〜1,000万サンプルが目安
- 生徒アーキテクチャ設計: Transformerの層数・隠れ次元・Attention Head数を決定。教師の1/4〜1/10が一般的
- 蒸留学習: 温度パラメータT=2〜10で平滑化したsoft labelとhard labelを組合せた損失関数で学習。学習率1e-5〜5e-5、エポック数3〜10が標準
- 評価・圧縮: MMLU、HumanEval等で性能評価。量子化（INT4/INT8）を追加適用してさらに圧縮
実運用での蒸留事例
- Apple Intelligence: Apple独自のAFM（Apple Foundation Model）3Bを、大規模モデルから蒸留してiPhone 15 Pro以降のデバイスで動作。A17 ProのNeural Engineで30 tokens/s
- Microsoft Copilot: Phi-3をOfficeアシスタントのバックエンドに採用。Azure上でGPT-4比で1/50のコストで同等品質を実現
- Hugging Face SmolLM: 1.7Bモデルを蒸留で作成し、ブラウザ上のWebLLMで動作可能に。WASM推論で15 tokens/s
よくある質問（FAQ）
Q1: 蒸留とファインチューニングの違いは何ですか？ A: ファインチューニングは事前学習済みモデルを特定タスクに適応させる技術で、モデルサイズは変わらない。蒸留は大きなモデルの知識を小さなモデルに転移する技術で、モデルサイズを1/10〜1/100に縮小できる点が根本的に異なる。
Q2: 蒸留にはどれくらいの計算リソースが必要ですか？ A: Logit蒸留の場合、7Bの生徒モデルを70Bの教師から蒸留するには、A100 80GB×8基で約3〜7日、クラウドコストで$5,000〜$15,000が目安。合成データ蒸留なら教師のAPI料金（$500〜$3,000）+生徒のファインチューニング（$200〜$1,000）で済む。
Q3: 蒸留モデルの性能は教師モデルの何%程度になりますか？ A: タスク依存だが、一般的にMMLUベンチマークで教師の85〜95%の性能を維持できる。特定タスクに特化した蒸留では教師を上回る場合もある。例えばPhi-3 MiniはGPT-3.5をコーディングタスクで上回るスコアを記録している。
まとめ
- LLM蒸留は推論コストを50〜100倍削減する実用的な技術
- Logit蒸留・Feature蒸留・合成データ蒸留の3手法から選択
- 2025-2026年のEdge AI普及に伴い、蒸留技術の需要は急速に拡大中
- モデルサイズ3B〜8Bが蒸留の主戦場で、スマートフォンやブラウザでの動作を実現