Sheared LLaMA（構造化プルーニング）（しあーどらま こうぞうかぷるーにんぐ）
Sheared LLaMAはプリンストン大学が2023年に発表したLLM向け構造化プルーニング手法。LLaMA-2 7B/13Bを元に、ターゲット構造（例：1.3B/2.7Bパラメータ）を事前設定してレイヤー・ヘッド・FFN次元を一括削除し、その後50Bトークンの軽量ファインチューニングで性能を回復させる。削減幅が大きく（50%以上）、同サイズのゼロから学習したモデルに近い性能を低コストで達成する。
Sheared LLaMAとは
Sheared LLaMAは2023年にXia et al.（Princeton NLP）が発表した構造化プルーニング＋軽量ファインチューニングの組み合わせ手法です。LLaMA-2 7Bまたは13Bをターゲットサイズ（1.3B / 2.7B）に大幅に削減し、その後50Bトークンのファインチューニングで性能を回復させます。
ゼロから同サイズのモデルを学習するより2〜5倍少ない計算コストで、同等以上のモデルを得られるのが最大の価値です。
2フェーズのアーキテクチャ
フェーズ1: Targeted Structured Pruning（TSP）
- 削除対象を決定：attention heads / FFN中間次元 / レイヤー数
- L0正則化ベースの動的マスク学習でどこを削除するか最適化
- ターゲット構造（dmodel=2048、nlayers=24等）に合わせてマスク適用
- 約200Mトークンのキャリブレーション学習
フェーズ2: Continued Pre-training（CPT）
- 削除後のモデルをRedPajama 50Bトークンで学習継続
- Dynamic Batch Loading（DBL）で下位グループのデータを重点サンプリング
Dynamic Batch Loading（DBL）
DBLはSheared LLaMAの学習効率化の要で、モデルが苦手なドメインに学習リソースを集中させます。
各ドメイン（web/code/math/books等）でlossを定期評価
→ lossの高いドメインのサンプリング比率を自動増加
→ 学習後半で効率的に弱点を補強
等比サンプリングと比べて最終モデルの平均性能が2〜4pt向上します。
主要ベンチマーク結果
| モデル | パラメータ | ARC-Easy | HellaSwag | WinoGrande | Avg |
|---|---|---|---|---|---|
| Sheared-LLaMA-1.3B | 1.3B | 59.1 | 61.4 | 58.2 | 59.6 |
| OPT-1.3B | 1.3B | 50.4 | 54.5 | 59.7 | 54.9 |
| Pythia-1.4B | 1.4B | 52.5 | 59.2 | 57.6 | 56.4 |
| TinyLLaMA-1.1B | 1.1B | 59.2 | 63.5 | 57.8 | 60.2 |
| Sheared-LLaMA-2.7B | 2.7B | 66.8 | 72.1 | 63.2 | 67.4 |
| Phi-1.5 (1.3B) | 1.3B | 63.9 | 63.7 | 72.3 | 66.6 |
削減構造の詳細
LLaMA-2 7B → Sheared-LLaMA-2.7B:
- dmodel: 4096 → 2560
- attention heads: 32 → 20
- FFN中間次元: 11008 → 6912
- layers: 32 → 32（変更なし）
- パラメータ: 6.74B → 2.70B（60%削減）
LLaMA-2 7B → Sheared-LLaMA-1.3B:
- dmodel: 4096 → 2048
- attention heads: 32 → 16
- layers: 32 → 24（8レイヤー削除）
- パラメータ: 6.74B → 1.30B（81%削減）
SparseGPTとの戦略比較
| 観点 | Sheared LLaMA | SparseGPT / Wanda |
|---|---|---|
| 削減方式 | 構造化（次元/層削除） | 非構造化（重みゼロ化） |
| 再学習コスト | 50Bトークン必要 | 不要 |
| 最終モデルサイズ | 50〜80%削減可 | 50〜60%重みゼロ |
| deploy容易さ | 標準モデルとして動く | スパーススカーネル依存 |
| 精度 | ゼロから学習に近い | 若干劣化あり |
FAQ
Q: Sheared LLaMAのモデルをどこで入手できますか？
A: Hugging Face Hub princeton-nlp/Sheared-LLaMA-1.3Bおよびprinceton-nlp/Sheared-LLaMA-2.7Bで公開されています。チャット版（Sheared-LLaMA-1.3B-ShareGPT）もあります。
Q: LLaMA-3以降のモデルにも適用できますか？
A: 公式コード（princeton-nlp/LLM-Shearing）はLLaMA系に最適化されています。GQAを使うLLaMA-3はhead数調整が必要ですが、原理的には適用可能です。
Q: 50Bトークンの学習にどのくらいGPUが必要ですか？ A: 1.3B版は8xA100（80GB）で約35時間、2.7B版は約70時間が論文での実績です。H100を使えばほぼ半減します。