蒸留とプルーニングの統合（ジョウリュウトプルーニングノトウゴウ）
モデル蒸留（知識転写）とプルーニング（不要パラメータ削除）を組み合わせ、LLMの推論効率を最大化する複合圧縮手法
蒸留とプルーニングの統合とは
蒸留とプルーニングの統合は、LLMの軽量化・高速化を目指す2つの主要なモデル圧縮技術を同時に適用するアプローチである。蒸留（Distillation）がTeacherの知識をStudentに転写する「ソフトウェア的圧縮」であるのに対し、プルーニング（Pruning）は不要な重みやニューロンを物理的に削除する「ハードウェア的圧縮」であり、両者は相補的に作用する。
2025〜2026年にかけて、LLMの推論コスト削減が産業界の最重要課題となり、蒸留＋プルーニング＋量子化の3手法を統合する「トリプル圧縮」パイプラインが標準化しつつある。
プルーニングの基本分類
非構造化プルーニング（Unstructured Pruning）
個々の重みをゼロ化する。最も細粒度の圧縮が可能だが、専用ハードウェア（スパース演算対応GPU）がないと速度向上しない。
- 手法: Magnitude Pruning、SparseGPT、Wanda
- 圧縮率: 50〜90%のスパース化
- 課題: 標準GPUでは実速度向上が限定的
構造化プルーニング（Structured Pruning）
アテンションヘッド・FFN層・チャネル単位で丸ごと削除する。標準ハードウェアで直接速度向上する。
- 手法: LLM-Pruner、SliceGPT、ShortGPT
- 圧縮率: 20〜50%の層/ヘッド削除
- 課題: 過剰削除で精度が急落するリスク
深さプルーニング（Depth Pruning）
Transformerの層を丸ごとスキップ・削除する。ShortGPT（2024）の研究で、LLMの中間層は冗長性が高く、25%程度の層を削除しても精度低下が5%以下であることが示された。
蒸留×プルーニングの統合パイプライン
| フェーズ | 手法 | 目的 | 所要時間 |
|---|---|---|---|
| Phase 1 | 構造化プルーニング | 不要ヘッド/層の削除 | 数時間 |
| Phase 2 | Teacher蒸留 | 削除で失った知識の回復 | 24-72時間 |
| Phase 3 | 量子化（INT4/INT8） | メモリ・帯域の最適化 | 数時間 |
| Phase 4 | ベンチマーク評価 | 品質確認 | 数時間 |
具体的な統合事例
Llama 3.1 405B → 70Bレベル（3段階パイプライン）:
- 構造化プルーニング: 405Bから冗長なアテンションヘッド（全体の30%）とFFN層（全体の20%）を削除 → 約200Bに圧縮
- 蒸留: 元の405Bをteacherとして200Bモデルにロジット蒸留 → MMLU精度85.2%→83.8%（低下1.4pt）
- 量子化: INT4量子化で200B → 実効50B相当のメモリ使用量 → 推論速度3.2x向上
Phi-4の圧縮パイプライン（Microsoft Research）:
- GPT-4合成データで蒸留した14Bモデルに対し、非構造化プルーニング（50%スパース化）を適用
- SparseGPTアルゴリズムで1回のForward Passのみで最適スパースパターンを決定
- 結果: 14B × 50%スパース = 実効7B相当の計算量でMMLU 78.9（密な7Bモデルの74.2を大幅上回る）
主要手法の比較
| 手法 | タイプ | 精度維持率 | 速度向上 | 専用HW | 蒸留併用 |
|---|---|---|---|---|---|
| SparseGPT | 非構造化 | 95-98% | 1.0-2.0x | 要 | 可 |
| Wanda | 非構造化 | 93-96% | 1.0-2.0x | 要 | 可 |
| LLM-Pruner | 構造化 | 88-94% | 1.5-3.0x | 不要 | 推奨 |
| SliceGPT | 構造化 | 90-95% | 1.3-2.5x | 不要 | 推奨 |
| ShortGPT | 深さ | 92-97% | 1.2-1.5x | 不要 | 推奨 |
2:4スパース化とNVIDIA Ampere/Hopper
NVIDIA Ampere（A100）以降のGPUは2:4構造化スパースパターンをハードウェアレベルでサポートしている。4つの重みのうち2つをゼロにする制約付きプルーニングで、理論上2倍の推論高速化が得られる。
- A100: 2:4 Sparse Tensor Core対応、FP16で624 TFLOPS（スパース時）
- H100: 2:4 Sparse Tensor Core + FP8対応、3,958 TFLOPS（FP8スパース時）
- B200: 次世代スパース演算、9 PETAFLOPS（FP4スパース時）
蒸留と2:4スパース化の組み合わせは、追加のFine-tuneなしでも精度低下を1-2%に抑えられることが報告されている。
実装時の注意点
- プルーニング→蒸留の順序が重要: 先にプルーニングして構造を確定し、その後にTeacher蒸留で精度を回復するのが標準的。逆順だと蒸留の効果がプルーニングで打ち消される
- 蒸留データの再利用: プルーニング後の蒸留にはTeacherの元の訓練データの10〜30%程度で十分
- イテレーティブ適用: 一度に大幅な圧縮を行うより、「少量プルーニング→蒸留→評価」を反復する方が最終精度が高い
- レイヤー重要度分析: 全層を均等にプルーニングするのではなく、最初と最後の数層は保護し中間層を重点的に削減するのが有効
よくある質問（FAQ）
Q1: プルーニングだけでは不十分なのですか？ A: プルーニング単体では30%以上の削除で精度が急落します。蒸留を併用することで、削除した知識をTeacherから回復でき、50%以上の圧縮でも精度低下を5%以内に抑えられます。
Q2: 量子化も加えた3重圧縮は実用的ですか？ A: はい。蒸留+プルーニング+INT4量子化のトリプル圧縮で、70Bモデルを実効7B相当の計算量まで圧縮しつつMMLU 80%以上を維持する事例が報告されています。
Q3: スパースGPUがない環境でもプルーニングは有効ですか？ A: 構造化プルーニング（ヘッド・層の削除）は標準GPUで直接速度向上します。非構造化プルーニングはメモリ削減のみ（速度は変わらない）ですが、蒸留との組み合わせで間接的に精度改善に寄与します。
まとめ
- 蒸留とプルーニングは相補的に機能し、統合パイプラインでLLMを最大10倍以上圧縮
- 構造化プルーニング→Teacher蒸留→量子化の順序が標準的
- NVIDIA 2:4スパースは追加ハードウェアコストなしで2倍高速化
- イテレーティブな適用（少量圧縮→回復→評価の反復）が最終精度を最大化