LLMの重みやニューロンのうち重要度が低い要素を除去（枝刈り）してモデルサイズを縮小する圧縮技術。構造化プルーニングと非構造化プルーニングの2種類がある。
LLMプルーニング（枝刈り）は、大規模言語モデルの重みパラメータのうち精度への寄与が小さい要素をゼロ化または削除し、モデルサイズと計算量を削減する手法である。ニューラルネットワークの「宝くじ仮説」（Lottery Ticket Hypothesis）に基づき、巨大なモデルの中に小さく高性能なサブネットワークが存在するという前提に立つ。
プルーニングの歴史はLeCunの「Optimal Brain Damage」（1989年）に遡るが、LLM時代においてはSparseGPT（2023年）とWanda（2023年）が画期的な転換点となった。従来のプルーニングは再訓練（リトレーニング）が必須だったが、これらの手法は訓練なし（post-training）で50-60%のスパース化を実現する。
2025-2026年には以下の進展がある：
| 特性 | 非構造化プルーニング | 構造化プルーニング |
|---|---|---|
| 粒度 | 個別の重み要素 | アテンションヘッド、FFN次元、レイヤー |
| スパースパターン | 不規則（ランダムなゼロ） | 規則的（行/列/ブロック単位） |
| 圧縮率 | 50-90%（理論上） | 20-50%（実用的） |
| ハードウェア加速 | NVIDIA A100 2:4スパース、AMD MI300X | 標準GPUで直接高速化 |
| 精度維持 | 高（同圧縮率なら優位） | 中（構造制約のため劣化大きめ） |
| 推論速度 | 専用カーネル必要 | 直接的な速度向上 |
| 代表手法 | SparseGPT, Wanda, SPDF | SliceGPT, LLM-Pruner, Sheared LLaMA |
| ストレージ削減 | スパースフォーマット必要 | 直接的にモデル縮小 |
実務では単独適用より組み合わせが効果的：
Q1: プルーニングで本当に推論が速くなるのか？ A: 非構造化プルーニングは専用のスパースカーネル（NVIDIA 2:4やDeepSparse Engine）がないと速度向上しない。構造化プルーニングはモデルサイズ自体が小さくなるため標準GPUでも直接高速化する。実用的な推論高速化には構造化プルーニングかNVIDIA 2:4スパースが推奨。
Q2: プルーニング後のモデルはファインチューニングできるか？ A: 可能だが注意が必要。非構造化スパースモデルにLoRAを適用する場合、スパースマスクを固定したままLoRA重みを学習する。構造化プルーニング後のモデルは通常のモデルと同様にファインチューニング可能。
Q3: LLMのプルーニングにはどの程度のキャリブレーションデータが必要？ A: Wandaは128サンプル、SparseGPTも128-256サンプルで十分動作する。C4やWikiTextから無作為抽出した短いテキストで問題なく、タスク固有のデータは不要。
Q4: 90%以上の極端なプルーニングは可能か？ A: 非構造化で80-90%のスパース化は可能だが精度劣化が5-15%と大きい。実用的には50-60%が品質と効率のバランス点。Mixture-of-Experts（MoE）アーキテクチャとの組み合わせで実質的な高スパース化を達成する研究が進んでいる。