Sophia（LLM用二次最適化器）（ソフィア エルエルエム ヨウ ニジサイテキカキ）

Sophia — Hessian対角を活用するLLM二次オプティマイザー

Sophia（Second-order Clipped Stochastic Optimization）は、2023年にHongkang Li・Baolin Peng・Pengcheng He・Weizhu Chen（Princeton大学 + Microsoft Research）が提案したLLM事前学習向け最適化アルゴリズムだ。AdamWを代表とする一次手法（勾配のみ使用）に対し、SophiaはHessian行列の対角要素（二次情報）を活用して各パラメータの曲率を近似推定する。

一次 vs 二次最適化

• SGD: 勾配のみ使用。シンプル・省メモリ。曲率を無視→不安定
• AdamW: 勾配 + 1次/2次モーメント。実績あり。曲率近似が粗い
• Sophia: 勾配 + Hessian対角。曲率情報活用→高効率。推定コスト追加
• K-FAC (Full): 完全なFisher行列。理論的最適。計算不可能レベル

Sophiaのアルゴリズム

更新式（簡略化）：

m_t = β1·m_{t-1} + (1-β1)·g_t        # 勾配モーメンタム
h_t = β2·h_{t-1} + (1-β2)·h_t        # Hessian対角EMA（k毎に更新）
θ_t = θ_{t-1} - lr · clip(m_t / max(γ·h_t, ε), ρ)  # クリッピング付き更新

Hessian対角の推定は2種類のアプローチ：

• Sophia-G（Gauss-Newton）: ランダムベクトルを使ったGauss-Newton推定（推奨）
• Sophia-H（Hutchinson）: Hutchinson推定器を使ったHessian対角推定（シンプル）

実験結果（論文より）

GPT-2事前学習の比較（トークン数、AdamWと同一Loss達成に必要な量）:

• AdamW: 100% (基準)
• Sophia-G: 約50%（2倍のサンプル効率）

計算コスト

Hessian更新をk=10ステップおきに行うため、追加コストは全体の約10%程度。必要ステップ数が半減するため総計算コストは削減される。

2025年の現状

初期実験（GPT-2規模）では非常に有望な結果を示したが、数十億パラメータ以上のモデルでの大規模検証は限定的。Muon・Prodigy等の新手法が台頭する中、Sophiaは二次情報を活用するLLMオプティマイザー研究の先駆けとして位置づけられている。