LLMレイヤードロッピング（エルエルエムレイヤードロッピング）

LLMレイヤードロッピングとは

LLMレイヤードロッピング（Layer Dropping / Depth Pruning）は、LLMを構成するTransformerブロック（レイヤー）を丸ごと除去することでモデルを軽量化する構造的プルーニング手法です。2023-2024年にかけてLLaMAなどのオープンソースLLMを対象に複数の研究グループが実用化を達成しました。

なぜレイヤーを除去できるのか

Transformerモデルの各レイヤーが入力に与える変換量（入出力の変化）を分析すると、後半のレイヤーほど変換量が小さい傾向が確認されています。これは「deep neural networkの後半層は細かい調整を行っているに過ぎない」という直感と合致しており、後半レイヤーを除去しても前段のレイヤーが十分な表現力を持っていれば性能劣化が小さいことを意味します。

レイヤー重要度の評価指標

Angular Distance（Angular Similarity）

各レイヤーの入力と出力ベクトルのコサイン類似度が1に近いほど変換量が小さく、除去候補:

Angular_i = arccos(sim(hidden_i, hidden_{i+1})) / π

値が小さい（≒0）ほどレイヤーの変換が少ない → 除去候補

Gradient-based Importance

損失に対する各レイヤーパラメータの勾配の大きさを積分して重要度を推定。計算コストが高いがより正確。

主要フレームワーク

ShortGPT（2024）

• Angular Distanceでレイヤー重要度を評価
• LLaMA-2-7B（32層）→後半6レイヤー除去で比較的良好な性能維持
• 除去後にLoRAファインチューニングで性能回復

LaCo（2024）

• レイヤー間のコサイン類似度行列を使ってクラスタリング
• 類似したレイヤーペアを1つにマージ（除去とマージのハイブリッド）

DepthPruning（Gromov et al., 2024）

• テイラー展開近似による重要度スコア
• LLaMA-2-70Bの後半20%レイヤー除去で性能維持を実証

実験的な知見

LLaMA-2-7B（32レイヤー）に対するShortGPTの実験:

• 後半6レイヤー除去（26層）: WikiText-2 PPL +0.8程度（許容範囲内）
• 後半10レイヤー除去（22層）: PPL +3.2（ファインチューニング必須）
• 前半6レイヤー除去: PPL +12.1（前半除去は大きく性能劣化）

これは後半除去の優位性を明確に示しており、「前半レイヤーが言語の基礎表現、後半レイヤーが高次調整」という仮説を支持します。

実用上の位置づけ

レイヤードロッピングはアーキテクチャを変更するため、除去後のモデルをそのまま元のチェックポイントに戻すことはできません。本番展開前には必ず:

1. 評価ベンチマーク（MMLU・HellaSwag等）での性能確認
2. 対象タスクのドメイン特化ファインチューニング（QLoRA推奨）
3. 本番環境でのレイテンシ計測 を実施することが推奨されます。

知識蒸留との比較

レイヤードロッピングは蒸留と異なり学習データなしに適用できる点が強みですが、性能回復に追加のファインチューニングが必要です。蒸留はより高い圧縮率で性能を維持できますが、教師モデルの推論コストと大量の学習データが必要です。用途に応じて組み合わせることも可能です。