LAMB（大バッチLLM最適化器）（ラム ダイバッチ エルエルエム サイテキカキ）

LAMB — 大バッチ分散学習を可能にするレイヤー適応オプティマイザー

LAMB（Layer-wise Adaptive Moments optimizer for Batch training）は、2020年にYang Youら（UC Berkeley・Google Brain）が発表したオプティマイザーだ。大規模分散学習環境でバッチサイズを極限まで拡大した際の精度劣化問題を解決することを目的に設計された。

LAMBが解決する問題

通常、バッチサイズを増やすと勾配ノイズが減少し学習が安定化するが、あまりに大きいとモデルの汎化性能が低下（Sharp Minimaに落ちる）という現象が起きる。AdamやLARSは特定のバッチサイズ範囲では機能するが、65,000以上では不安定になりやすい。

LAMBの更新式

# Adam的な更新量を計算
g_t = Adam_update(θ, grad)

# レイヤー適応係数を計算
φ_t = ||θ_t|| / ||g_t||  # パラメータノルム / 更新ノルム

# 最終更新
θ_{t+1} = θ_t - lr × φ_t × g_t

BERTの76分事前学習

最大の成果はBERT-Large（340M）の事前学習を76分で完了させたことだ：

• 環境: Google TPU v3 × 512ポッド
• バッチサイズ: 65,536（通常256の256倍）
• 精度: GLUE Fine-tuningベンチマークでAdamW版と同等以上
• 従来所要時間: AdamW + バッチ256では約3日

LLM事前学習での採用

LAMBはGPTクラスのLLM事前学習でも利用される。代表的な採用例：

• Megatron-LM: NVIDIA製大規模LLM訓練フレームワーク、LAMBオプション搭載
• DeepSpeed: Microsoft製分散学習ライブラリ、LAMBステップ最適化実装
• ColossalAI: Colossal-AIフレームワーク、Fused LAMB実装（CUDA最適化）

AdamW vs LAMB 比較

• 標準バッチサイズ: AdamW=256〜4096、LAMB=8,192〜131,072
• 実装複雑度: AdamW=低、LAMB=中
• 分散学習効率: AdamW=中、LAMB=高
• 主なユースケース: AdamW=汎用、LAMB=大規模分散LLM事前学習

2025年の位置づけ

LAMBはTPU/GPU数百台規模の分散学習では今も有力な選択肢だが、Muon・SOAP等の新世代オプティマイザーが登場する中、超大規模訓練での比較検証が進んでいる。ZeRO（DeepSpeed）と組み合わせた「LAMBオプティマイザー + データ並列」構成は、2025年現在も産業用LLM事前学習で使用例がある。