AI・機械学習
中級
Teacher-Student Training（LLM）（ティーチャースチューデントトレーニング）
LLM訓練パラダイムの一つ。大型教師モデルが生成したデータ・確率分布・推論プロセスを学習シグナルとして小型生徒モデルを訓練する手法の総称。知識蒸留・合成データ生成・Reasoning蒸留を包含する広義の概念。
0 回閲覧
0 いいね
2026/6/6 更新
関連タグ
Teacher-Student
知識蒸留
LLM訓練
Reasoning蒸留
合成データ
Teacher-Student Training（LLM）とは
Teacher-Student Training（教師生徒訓練）は、大型・高性能な教師モデル（Teacher）の知識・能力を活用して、小型・効率的な生徒モデル（Student）を訓練するLLMのパラダイム群の総称。
手法の分類
1. 古典的知識蒸留
- ソフト蒸留: 教師の確率分布（ソフトラベル）で訓練（DistilBERT, TinyBERT等）
- 特徴蒸留: 中間層の隠れ状態を生徒の訓練ターゲットに使用
2. 生成データ蒸留（Data Generation Distillation）
教師LLMが生成したテキストで生徒を訓練。商用LLMのAPIが利用可能になった2023年以降に急増。
| 手法 | 教師 | 生徒 | 特徴 |
|---|---|---|---|
| Alpaca (2023) | GPT-3.5 | LLaMA-7B | 52k指示データ |
| Vicuna (2023) | ChatGPT | LLaMA-13B | 会話履歴 |
| Orca (2023) | GPT-4 | LLaMA-7/13B | System Promptあり |
| WizardLM | ChatGPT | LLaMA | Evol-Instruct |
3. Reasoning蒸留（COT Distillation）
教師モデルの推論プロセス（思考チェーン）を生徒に転移。2024〜2025年のトレンド。
| 手法 | 教師 | 生徒 | 性能 |
|---|---|---|---|
| DeepSeek-R1-Distill-Qwen-7B | DeepSeek-R1 | Qwen2.5-7B | AIME24: 55.5% |
| DeepSeek-R1-Distill-Llama-8B | DeepSeek-R1 | Llama3.1-8B | AIME24: 50.4% |
商用LLMで蒸留する際の制約
GPT-4等の商用モデルを教師とする場合、利用規約の確認が必須:
- OpenAI ToS (2023〜): 競合モデルの訓練に出力を使用することは禁止
- Anthropic ToS: 同様の競合訓練制限あり
- 違反事例: Alpaca等は非商用研究限定として発表
Teacher-Student設計のベストプラクティス
- 能力ギャップ: 教師と生徒のサイズ差は2〜10倍が適切（大きすぎると蒸留効率低下）
- 訓練データ質: 合成データは量より質が重要
- タスク特化: 汎用より特定タスク（コーディング/数学）への特化蒸留が効果的
- 多段階蒸留: 生徒が教師になりさらに小型モデルを蒸留する反復も有効