Prodigy（学習率自動設定LLM最適化器）（プロディジー ガクシュウリツ ジドウセッテイ エルエルエム サイテキカキ）

Prodigy — 学習率チューニング不要のLLMオプティマイザー

Prodigyは、2023年にKonstantinos Mishchenko（Samsung AI Research）とAaron Defazzio（Meta AI）が発表した最適化アルゴリズムだ。LLMやDiffusionモデルのファインチューニングで最も時間のかかる作業の一つ、学習率（Learning Rate）のハイパーパラメータ探索を自動化する。

学習率チューニングの課題

AdamWでLLMをファインチューニングする際の典型的なグリッドサーチ：

試行1: lr=1e-3  → 発散
試行2: lr=1e-4  → OK、Validation Loss = 2.35
試行3: lr=3e-4  → OK、Validation Loss = 2.28  最適
試行4: lr=5e-5  → 収束遅い
合計: 4回 × 20エポック = 80エポック相当の計算コスト

小さいモデル（1B以下）でも数時間、大きいモデルでは数日のグリッドサーチが必要になる。

Prodigyのアプローチ：プロキシ距離推定

ProdigyはD-Adaptation（Defazzio 2023）の拡張版で、プロキシ距離（Proxy Distance）という指標を使って現在の学習率スケールが適切かどうかを推定する。

更新ルール（概念）：

# 距離推定を使った適応スケーリング
d_t = proxy_distance_estimate(grads, params)  # 現在点から初期点への近似距離
lr_effective = base_lr × d_t  # 学習率を距離推定でスケール
θ_{t+1} = adam_update(θ_t, grad, lr_effective)

学習初期は小さなd_t（初期点の近く）→ lr実効値が小さい。学習が進み損失が下がるとd_tが増大→ lr実効値も自動的に増大。最終的に最適スケールに収束する。

ベンチマーク結果

LLMファインチューニング（Alpaca, WizardLM等）：

• AdamW（手動チューニング 3〜5試行）: 基準精度、設定工数=高
• Prodigy（lr=1e-6）: AdamW-5%〜同等、設定工数=低（1試行）
• Prodigy（lr=1e-6 + warmup）: AdamW相当、設定工数=低（1試行）

Stable Diffusion LoRAファインチューニングでの利用が特に活発。2024〜2025年にかけてKohya-ss（StableDiffusion学習ツール）に標準搭載された。

注意点

• Warmup Schedulerとの組み合わせが重要（最初の数ステップでd_t推定が安定しないため）
• LLM事前学習（数十億トークン規模）よりファインチューニング（数万〜数百万ステップ）に適している
• 2025年現在、AdamW + コサイン学習率スケジュールを完全に置き換えるには至っていない（ステップ数が多い場合の安定性課題）