RMSNorm（Root Mean Square Normalization）（アールエムエスノーム）

RMSNorm（Root Mean Square Normalization）とは

RMSNorm は、LayerNorm の計算を簡略化した正規化手法である。LayerNormが「平均を引いてから分散で割る」のに対し、RMSNormは平均の計算と引き算を省略し、二乗平均平方根（Root Mean Square）のみで除算する。この簡略化により計算コストが削減される一方、実験的にはLayerNormとほぼ同等の学習性能が確認されている。

計算式の比較

ここで RMS(x) = √((1/H) Σ x_i²) である。

RMSNormが省略するもの

なぜ平均の引き算を省略できるのか

Zhang & Sennrich（2019）の分析によれば、LayerNormの成功要因は**再スケーリング（分散による除算）**にあり、**再センタリング（平均の引き算）**の寄与は限定的であるという知見に基づく。

直感的には、Transformerの隠れ層の活性化値はResidual Connectionにより層が深くなるほど累積的に大きくなる傾向がある。この「スケールの発散」を抑制することが正規化の主目的であり、平均のシフト補正は副次的な効果にすぎない。

計算効率の改善

RMSNormのLayerNormに対する計算効率改善は以下の通り：

理論的なFLOPS削減は約50%だが、実際の壁時計時間ではメモリ帯域がボトルネックとなるため、改善は10-15%程度に留まる。ただし、Transformerの全層で繰り返し適用されるため、モデル全体では有意な高速化となる。

採用モデル一覧

2023年以降にリリースされたオープンソースLLMのほぼ全てがRMSNormを採用しており、LayerNormからの移行は完了したと言える。

実装上の注意点

FP16/BF16での数値安定性

RMSNormの除算 x / RMS(x) は、RMS(x)が非常に小さい場合に数値的に不安定になる。混合精度学習では以下の対策が必要：

• ε（イプシロン）を 1e-5 以上に設定
• RMS計算をFP32で実行し、結果をFP16/BF16にキャスト
• Fused Kernel（Triton/CUDA）での精度保証

PyTorchでの実装

PyTorch 2.0以降では torch.nn.RMSNorm が公式サポートされており、手動実装は不要。

FAQ

Q1: RMSNormはLayerNormより性能が劣る？

ほとんどのベンチマークで性能差は0.1%未満であり、実用上の差はない。LLaMA論文（Touvron et al., 2023）では、RMSNormがLayerNormと同等の性能を達成しつつ学習速度が向上したと報告されている。

Q2: なぜβ（バイアス）パラメータも省略されるのか？

RMSNormの多くの実装ではβを省略する。これはTransformerのAttention層やFFN層にすでにバイアス項が含まれているため、正規化層のバイアスが冗長であるという経験的知見に基づく。LLaMAではFFN層のバイアスも省略している。

Q3: RMSNormの次に来る正規化手法は？

QK-Normalization（Query/Keyの正規化）やnGPT（normalized GPT）など、Attention内部の正規化手法が研究されている。RMSNormの置換というよりは、追加の正規化として併用される方向。