知識転写メカニズム（チシキテンシャメカニズム）
LLM蒸留における教師モデルから生徒モデルへの知識移転手法の総称で、ロジット転写・特徴量転写・アテンション転写・合成データ転写の4種類に大別される
知識転写メカニズムとは
知識転写メカニズム（Knowledge Transfer Mechanism）は、LLM蒸留において教師モデル（Teacher）の「知識」を生徒モデル（Student）に移転するための具体的な手法群である。Hinton（2015）の原著論文ではロジット（出力層の確率分布）の転写が主眼だったが、2020年代以降は中間層の特徴量、アテンションパターン、さらにはTeacherが生成する合成データまでを「知識」と捉える広義の転写概念へと拡張されている。
4つの知識転写タイプ
1. ロジット転写（Logit-based）
最も基本的な手法。Teacherの出力層ソフトマックス分布をStudentが模倣する。
- 利点: 実装が簡単、Teacher内部構造に依存しない
- 欠点: 出力層のみの情報で中間表現の知識は失われる
- 代表手法: 標準KD（Hinton 2015）、Noisy Student
- 適用例: DistilGPT-2、TinyLlama 1.1B
温度τを上げることでTeacherの「暗黙知」（dark knowledge）が転写される。例えば「犬」の画像分類で、Teacherが「犬: 0.85, 猫: 0.10, 狼: 0.05」と出力した場合、「猫に似ている」「狼とも近い」という類似性情報がStudentに伝わる。
2. 特徴量転写（Feature-based）
Teacherの中間層の活性化パターン（hidden states）をStudentが再現するように学習する。
- 利点: 深層の表現学習能力が転写される
- 欠点: Teacher/Studentの中間次元が異なる場合、射影層が必要
- 代表手法: FitNets（Romero 2015）、PKD、MiniLM
- 適用例: MiniLM-L6-v2（Sentence Transformers）
Teacher hidden [4096次元] → 射影層 → [768次元]
Student hidden [768次元] → 直接比較
MSE損失で中間表現を近づける
3. アテンション転写（Attention-based）
TransformerのSelf-Attention重み行列を転写する。言語の構文的・意味的構造の理解がStudentに移転する。
- 利点: 言語構造の理解が効率的に転写される
- 欠点: アテンションヘッド数の不一致を扱う工夫が必要
- 代表手法: TinyBERT（Jiao 2020）、MobileBERT
- 適用例: TinyBERT-6L（BERTの96.8%精度を67%のサイズで達成）
4. 合成データ転写（Data-based）
Teacherが生成した高品質なテキストデータでStudentをFine-tuneする「間接的蒸留」。2024-2026年のLLM蒸留で最も広く使われている。
- 利点: Teacherの内部構造にアクセス不要（API経由で可能）
- 欠点: 生成データの品質がTeacherの能力に依存
- 代表手法: Alpaca、Vicuna、Orca、WizardLM
- 適用例: Phi-4（GPT-4合成データで14Bが70Bレベルを達成）
転写タイプの比較
| 転写タイプ | Teacherアクセス | 実装難度 | 精度維持率 | 主要用途 |
|---|---|---|---|---|
| ロジット | 出力層のみ | 低 | 85-92% | 汎用蒸留 |
| 特徴量 | 中間層必要 | 中 | 88-95% | Embedding蒸留 |
| アテンション | Attention層必要 | 高 | 90-96% | 言語理解蒸留 |
| 合成データ | API呼び出しのみ | 低 | 80-90% | クローズドモデル蒸留 |
複合転写（Multi-Granularity Distillation）
2025年以降のSOTAでは、複数の転写タイプを組み合わせるMulti-Granularity Distillationが主流：
- TinyBERT方式: アテンション転写 + 特徴量転写 + ロジット転写の3段階
- MiniLM方式: Value-Relation転写（アテンション値ベクトル間の関係性を転写）
- Orca方式: 合成データ転写 + CoT（Chain-of-Thought）推論過程の転写
複合転写では各損失の重みバランスが重要で、一般的にはロジット損失を主軸（60%）、特徴量損失を補助（30%）、アテンション損失を微調整（10%）とする配分が報告されている。
実装時の注意点
- 次元不一致の処理: Teacher 4096次元 → Student 768次元のように異なる場合、線形射影層を挿入してMSE損失を計算
- レイヤーマッピング: Teacher 32層 → Student 6層の場合、均等間隔（6層ごと）でマッピングするのが標準的
- 勾配の安定化: 特徴量転写は勾配が不安定になりやすく、Gradient Clipping（max_norm=1.0）や学習率ウォームアップが推奨
- データ効率: 合成データ転写は10万サンプル程度でも有効だが、特徴量転写には50万〜100万サンプルが必要
よくある質問（FAQ）
Q1: API経由でしかアクセスできないモデル（GPT-4o等）から蒸留できますか？ A: はい。合成データ転写（Data-based Distillation）を使えば、APIでTeacherの応答を収集しStudentの訓練データとすることで蒸留可能です。ただし利用規約の確認が必要です。
Q2: どの転写タイプが最も効果的ですか？ A: タスクと状況に依存します。一般的にはアテンション転写が最高精度ですが実装が複雑で、合成データ転写が最も手軽で広く使われています。可能なら複合転写が最良です。
Q3: 転写に失敗するケースはありますか？ A: Teacher/Student間のキャパシティギャップが大きすぎる場合（例: 405B → 1.7B直接転写）、Studentが十分に学習できません。Progressive Distillation（段階的縮小）で解決できます。
まとめ
- 知識転写には4タイプ（ロジット・特徴量・アテンション・合成データ）がある
- 2024-2026年は合成データ転写がAPI蒸留の主流
- 複合転写（Multi-Granularity）がSOTAの精度を達成
- 転写タイプの選択はTeacherへのアクセスレベルとタスク要件で決定