深いニューラルネットワークの訓練で、逆伝播時に勾配が層を遡るにつれて指数関数的に小さくなり、初期層のパラメータが更新されなくなる問題。Transformerアーキテクチャの設計に大きな影響を与えた。
Vanishing Gradient Problem（勾配消失問題）は、深層ニューラルネットワークの訓練における根本的な課題です。逆伝播（backpropagation）で損失関数の勾配を計算する際、各層の勾配が連鎖律（chain rule）で掛け合わされるため、層が深くなるほど初期層に届く勾配が指数関数的に小さくなります。
逆伝播での勾配は連鎖律により計算されます。N層のネットワークで、第1層の勾配は以下のように表現されます：
∂L/∂W₁ = ∂L/∂hₙ × ∂hₙ/∂hₙ₋₁ × ... × ∂h₂/∂h₁ × ∂h₁/∂W₁
各層の局所勾配∂hᵢ/∂hᵢ₋₁が1未満の場合、これらの積は層数に対して指数関数的に0に近づきます。Sigmoid活性化関数の最大微分値は0.25であり、10層でも0.25¹⁰ ≈ 0.000001となり、事実上勾配が消失します。
| 年代 | 出来事 | 影響 |
|---|---|---|
| 1991年 | Hochreiterが勾配消失を分析 | 問題の理論的定式化 |
| 1997年 | LSTM提案 | ゲート機構による勾配消失緩和 |
| 2010年 | ReLU活性化関数の普及 | 正領域で勾配=1、消失を大幅緩和 |
| 2015年 | ResNet（残差接続）提案 | skip connectionで勾配のバイパス |
| 2016年 | Layer Normalization | 各層の出力を正規化して安定化 |
| 2017年 | Transformer | 残差接続+LayerNormの組み合わせ |
現代のLLMで使用されるTransformerアーキテクチャは、複数の手法を組み合わせて勾配消失問題に対処しています。
各層の出力に入力をそのまま加算するskip connectionにより、勾配が直接的に下層に伝播するバイパス経路を確保します。これにより、100層以上の深いネットワークでも勾配が消失しにくくなります。
各層の出力を正規化することで、活性値のスケールを安定させます。これにより局所勾配が極端に小さくなることを防ぎます。
ReLUの改良版であるGELU（Gaussian Error Linear Unit）やSiLU（Swish）は、負領域でも微小な勾配を持つため、Dead Neuron問題を回避しつつ勾配の流れを維持します。
| 特性 | 勾配消失 | 勾配爆発 |
|---|---|---|
| 原因 | 局所勾配 < 1 の連鎖 | 局所勾配 > 1 の連鎖 |
| 症状 | 初期層が学習しない | loss spike、NaN発生 |
| 検出 | 勾配ノルムが0に近い | 勾配ノルムが巨大 |
| 対策 | 残差接続、LayerNorm | Gradient Clipping |
| LLMでの深刻度 | 設計で概ね解決済み | 訓練中に頻発 |
現代のTransformerアーキテクチャでは、残差接続とLayer Normalizationにより勾配消失は概ね解決されていますが、勾配爆発は依然として発生するため、Gradient Clippingが必須です。
Transformerの Layer Normalization の配置が勾配消失に影響します。
| 配置 | 勾配の安定性 | 訓練の容易さ | 採用例 |
|---|---|---|---|
| Post-Norm（元のTransformer） | やや不安定 | Warmup必須 | BERT、GPT-2 |
| Pre-Norm | 安定 | Warmup短縮可能 | GPT-3、LLaMA、PaLM |
Pre-Normでは残差接続の入力に正規化された値が加算されるため、勾配の流れがより安定します。現在のLLMではPre-Normが標準です。
Transformerの設計（残差接続+LayerNorm）により、勾配消失自体はほぼ解決されています。ただし、非常に深いモデル（100層以上）や特殊なアーキテクチャでは依然として注意が必要です。
LSTMのゲート機構は勾配消失を大幅に緩和しましたが、完全な解決ではありません。非常に長い系列（1,000ステップ以上）では依然として問題が発生することがあり、これがTransformerへの移行を後押しした一因です。
各層の勾配ノルムを記録し、初期層と最終層の勾配ノルム比を監視します。比率が0.01以下（100倍以上の差）であれば勾配消失の可能性があります。TensorBoardやWandBで層別勾配ノルムを可視化するのが一般的です。