Muon（LLM用最適化器）（ミューオン エルエルエム ヨウ サイテキカキ）

Muon — 直交化勾配によるLLM新世代オプティマイザー

Muon（Momentum Orthogonalized by Newton-schulz）は、Kelvin Wuら（2024年）が提案したLLM事前学習向け最適化アルゴリズムだ。勾配行列をNewton-schulz反復によって直交化することで、従来のAdamWが苦手とする曲率の大きいパラメータ空間でも安定した学習を実現する。

アルゴリズムの仕組み

Muonの核心は3ステップだ：

1. Nesterov momentumの適用: 先読みモーメンタムを計算
2. Newton-schulz直交化: 勾配行列 G に対してNewton-schulz反復（通常5ステップ）を適用し、直交行列に近い形に変換
3. スケーリング更新: 直交化された勾配でパラメータを更新

AdamWとの比較

• サンプル効率: GPT-2（124M）スケールでAdamW比約15%少ないトークンで同等Perplexity
• メモリ使用量: Adam系の1次/2次モーメント不要 → モデルあたり約33%メモリ削減
• 学習安定性: L無限大ノルム爆発が起きにくい（直交化により勾配の最大方向が抑制）
• ハイパーパラメータ感度: AdamWより学習率の選択に寛容

適用範囲と制約

MuonはTransformerのFFN（Feed Forward Network）層で最も効果を発揮する。Attention層ではAdamWの方が良い場合もあるため、ハイブリッド適用（FFN=Muon + Attention=AdamW）が推奨されるケースもある。

埋め込み層・LayerNorm/RMSNormパラメータには適用不可（1D以下のテンソルはNewton-schulz直交化できない）。

比較表

• AdamW: 実績・安定性最高。大規模LLM標準。メモリ 2倍
• Muon: サンプル効率改善。FFN特化。メモリ 1倍
• Sophia: 二次情報活用。AdamWより適応的。メモリ 2倍
• LAMB: 大バッチ学習向け。層ごとの学習率自動調整。
• AdaLOMO: 超省メモリ（7BモデルをGPU 8GBで学習）