Pre-Norm / Post-Norm アーキテクチャ（プリノームポストノーム）

Pre-Norm / Post-Norm アーキテクチャとは

Transformerブロックは Self-Attention と Feed-Forward Network（FFN）の2つのサブレイヤーと、正規化層（LayerNorm/RMSNorm）および残差接続（Residual Connection）で構成される。正規化層をサブレイヤーの前に置くか後に置くかという設計選択が、モデルの学習安定性と最終性能に大きな影響を与える。

2つの配置パターン

Post-Norm（元祖Transformer方式）

x → Self-Attention → Add(x) → LayerNorm → FFN → Add → LayerNorm → 出力

残差接続の後に正規化を行う。Vaswani et al.（2017）の元祖Transformerで採用された方式。

Pre-Norm（GPT-2以降の標準）

x → LayerNorm → Self-Attention → Add(x) → LayerNorm → FFN → Add → 出力

残差接続の前に正規化を行う。GPT-2（Radford et al., 2019）で採用され、以降の大規模LLMで標準となった。

勾配の流れの違い

Pre-NormとPost-Normの最も重要な違いは、残差接続を通じた勾配の流れにある。

Post-Normが不安定な理由

Post-Normでは残差接続の出力がLayerNormを通過するため、逆伝播時の勾配もLayerNormのヤコビアンを経由する。これにより：

1. 層が深くなるほど勾配が指数的に減衰する可能性がある
2. 学習初期に勾配が不安定になりやすい
3. 学習率のウォームアップ（最初の数千ステップで学習率を線形に増加）が必須

Pre-Normが安定な理由

Pre-Normでは残差接続が正規化層を迂回するため、勾配は層の深さに関係なく直接的に伝播する。これはResNetの残差接続と同じ原理であり、数百層のモデルでも安定した学習が可能になる。

性能の比較

Post-Normは適切なウォームアップと初期化を用いれば最終性能でわずかに上回るという報告がある。しかし、大規模LLMの学習では安定性が最優先されるため、Pre-Normが圧倒的に選ばれている。

主要モデルの採用状況

Sandwich-Norm と最新の変種

Pre-Norm/Post-Normの二択に加え、いくつかの変種が研究されている。

FAQ

Q1: Pre-Normにデメリットはある？

Pre-Normでは残差接続がLayerNormを迂回するため、各層の出力が累積的に大きくなる「表現崩壊（Representation Collapse）」が報告されている。これに対してはDeepNormやPost-Norm回帰の研究が進んでいる。

Q2: BERTはなぜPost-Normなのか？

BERTは12-24層と比較的浅いモデルであり、Post-Normでも学習が安定する。当時（2018年）はPre-Normの利点がまだ広く認知されておらず、元祖Transformerの設計に従った。その後のPost-BERT研究ではPre-Norm版BERTの方が安定して学習できることが示されている。

Q3: 今後Post-Normが復活する可能性は？

DeepNorm（Microsoft, 2022）のように、Post-Normの最終性能優位性を活かしつつ安定性を確保する手法が研究されている。ただし実装の複雑さから、実用LLMでのPre-Norm優位は当面続くと見られる。