AI・機械学習
中級
LLMスパース性圧縮（エルエルエムスパースセイアッシュク）
LLMの重み行列においてほとんどの値をゼロに近づけることでメモリ削減と演算効率化を実現するモデル圧縮アプローチの総称。
0 回閲覧
0 いいね
2026/6/8 更新
関連タグ
スパース性
モデル圧縮
MoE
プルーニング
推論効率
LLMスパース性圧縮
スパース性（Sparsity）とは、行列やテンソルの大部分の値がゼロであることを指します。LLMにおけるスパース性圧縮は、この性質を活用してメモリ削減・演算削減を実現するモデル圧縮の包括的なアプローチです。
スパース性の種類
重みスパース性（Weight Sparsity）
モデルパラメータ（重み行列）のゼロ率。プルーニングにより人工的に生成される。SparseGPT・Wandaが代表的な生成手法。
アクティベーションスパース性（Activation Sparsity）
推論時の中間層の出力ニューロンのゼロ率。ReLU活性化関数は出力が負の場合に必ずゼロになるため自然にスパースになる。
MoEスパース性（MoE Sparsity）
Mixture of Expertsアーキテクチャでは全エキスパート中の一部しか活性化しないため、構造的なスパース性が生まれる。Mixtral-8x7Bでは各トークン処理時に2エキスパート（全体の25%）のみ使用。
アクティベーションスパース性の活用
GLU（Gated Linear Unit）やSwiGLU系活性化関数が普及した2022年以降、アクティベーションスパース性の自然な活用が難しくなりました。
ReLU-ification
既存のSwiGLU/GELUモデルをReLUベースに再学習または蒸留し、アクティベーションスパース性を回復する手法。LLaMA-ReLU（2024）は元のモデルの98%の精度を維持しつつアクティベーションの60%をゼロ化。
Deja Vu（2023）
コンテキストに依存して活性化するニューロンは事前予測可能という知見をもとに、不活性ニューロンをスキップする推論の高速化手法。OPT-66Bで元モデルの2倍のスループットを達成。
ハードウェアスタックの対応状況（2025年）
- NVIDIA Ampere/Hopper: 2:4半構造化スパースをTransformerEngineでネイティブ対応
- NVIDIA cuSPARSELt: 汎用スパースGEMMで2倍高速化（2:4形式）
- AMD ROCm 6.2: 2025年にLLMスパース行列積をサポート
- Apple M4: AMX未対応（スパースのハードウェア加速なし）
スパース性と量子化の組み合わせ
SparseGPTの後続研究ではプルーニング × 量子化の同時適用が主流になっています。
- SqueezeLLM（2023）: 非構造化プルーニング + 非均一量子化
- QSparse（2024）: INT4モデルに50%スパース化でさらなる圧縮
まとめ
- スパース性は重み・アクティベーション・MoEの3種類
- ハードウェアサポートがある2:4半構造化スパースが実用的
- ReLU-ificationでアクティベーションスパース性を人工的に回復可能
- 量子化との組み合わせでさらなる圧縮率向上が可能
- 2025年はAMD ROCm 6.2でもスパースLLM推論が実用化