Teacher-Studentアーキテクチャ（ティーチャースチューデントアーキテクチャ）
LLM蒸留の基盤となる学習構造で、大規模な教師モデル（Teacher）が生成するソフトラベルを生徒モデル（Student）の学習信号として利用する二段階アーキテクチャ
Teacher-Studentアーキテクチャとは
Teacher-Studentアーキテクチャは、知識蒸留（Knowledge Distillation）の中核をなす学習フレームワークである。大規模で高精度な教師モデル（Teacher）が入力データに対して生成する確率分布（ソフトラベル）を、小型の生徒モデル（Student）が模倣するように学習する。2015年のHintonらの論文「Distilling the Knowledge in a Neural Network」で体系化され、2024〜2026年のLLM時代には事実上の業界標準となっている。
アーキテクチャの構成要素
Teacher-Studentアーキテクチャは以下の要素で構成される：
Teacher（教師モデル）
- 役割: 高品質な推論結果とソフトラベルの生成
- 特徴: 大規模パラメータ（70B〜1.8T）、高い計算コスト、最高精度
- 代表例: GPT-4o（推定1.8T）、Claude 3.5 Opus、Gemini 1.5 Pro、Llama 3.1 405B
Student（生徒モデル）
- 役割: Teacherの知識を圧縮して高効率な推論を実現
- 特徴: 小型パラメータ（1B〜14B）、低レイテンシ、低コスト
- 代表例: GPT-4o mini（推定8B）、Phi-4（14B）、Gemma 2 9B、SmolLM2 1.7B
蒸留損失関数
- KLダイバージェンス: Teacher/Student間の出力分布の差異を測定
- Cross-Entropy損失: 正解ラベルに対するStudent単体の損失
- 最終損失: L = α × L_KL + (1-α) × L_CE（α=0.5〜0.9が一般的）
Teacher-Student設計パターン
| パターン | Teacher規模 | Student規模 | 圧縮率 | 用途 |
|---|---|---|---|---|
| 同一アーキテクチャ | 70B Transformer | 7B Transformer | 10x | 汎用LLM蒸留 |
| 異種アーキテクチャ | 70B Transformer | 7B Mamba/RWKV | 10x | 推論最適化 |
| Multi-Teacher | 複数70B | 7B | 10x | アンサンブル蒸留 |
| Self-Distillation | 同一モデル | 同一モデル（層削減） | 1.5-2x | 効率化 |
| Progressive | 70B → 30B → 7B | 段階的縮小 | 10x | 安定蒸留 |
実装上の重要パラメータ
蒸留の品質を左右する主要パラメータ：
- 温度τ（Temperature）: 1.0〜5.0。ソフトラベルの平滑度を制御。τ=2.0〜3.0が標準的
- 蒸留係数α: 0.5〜0.9。KL損失の重みを制御。大きいほどTeacher依存
- 学習率: Student単体のFine-tuneより低め（1e-5〜5e-5）が安定
- バッチサイズ: 64〜512。大バッチでTeacherの分布を安定的に学習
- 蒸留データ量: 10万〜100万サンプル。少なすぎるとStudentが過学習
Teacherサイズ vs Student精度の関係
実験的に、Teacher/Student間のサイズ比が大きすぎると「キャパシティギャップ」問題が発生する。70B → 1.7Bのような極端な圧縮では、中間サイズ（7B）を経由するProgressive Distillationが有効：
Llama 3.1 405B → Llama 3.1 70B → Llama 3.2 8B → SmolLM2 1.7B
(段階的にTeacherを縮小して安定蒸留)
2025-2026年の発展
アンサンブル蒸留（Multi-Teacher）
複数のTeacherからStudentに蒸留するアプローチが注目されている：
- GPT-4o + Claude 3.5 Opus + Gemini 1.5 Pro → 統合Student
- 各Teacherの得意分野（数学/コード/言語）を1つのStudentに集約
- MoE（Mixture-of-Experts）構造との組み合わせで効率化
Self-Distillation
同一モデル内での蒸留（深い層 → 浅い層）も実用化：
- LLaMA-3の最終層 → 中間層へのSelf-Distillationで推論速度1.3x向上
- Early Exit機構と組み合わせて動的にレイヤー数を切り替え
よくある質問（FAQ）
Q1: TeacherとStudentは同じアーキテクチャでなければなりませんか？ A: いいえ。TransformerのTeacherからMambaやRWKVのStudentへの異種蒸留も可能です。ただし中間層の特徴量蒸留は同一アーキテクチャの方が容易です。
Q2: Teacher-Studentの最適なサイズ比は？ A: 一般的には5〜10倍の圧縮が精度維持の点で安定します。10倍以上の圧縮にはProgressive Distillation（段階的縮小）が推奨されます。
Q3: 複数のTeacherを使うメリットは何ですか？ A: 各Teacherの強みを統合できます。例えばGPT-4oの数学能力とClaude 3.5のコード能力を1つのStudentに集約し、単一Teacherを超えるケースもあります。
まとめ
- Teacher-StudentアーキテクチャはLLM蒸留の基盤的フレームワーク
- 温度τ=2.0〜3.0、蒸留係数α=0.5〜0.9が標準設定
- Progressive DistillationやMulti-Teacher蒸留が2025-2026年のトレンド
- Student設計ではキャパシティギャップを考慮し段階的な圧縮が有効