DoReMi（動的データ混合最適化）（ドレミ）

DoReMi（Domain Reweighting with Minimax Optimization）とは

DoReMiは2023年にGoogle Researchが発表した、LLM事前学習のデータ混合比を自動最適化するアルゴリズムです（論文: "DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining"）。

問題設定

LLMの事前学習では、Webテキスト・コード・数学・書籍・論文など複数ドメインのデータを混合します。この混合比率は最終的なモデル品質に大きく影響しますが、従来は人手でヒューリスティックに決定していました。比率が最適でないと、特定ドメインの過学習や希少ドメインの過少学習が発生します。

DoReMiのアルゴリズム

ステップ1: 代理参照モデルを均一データ比率で小規模学習（1Bパラメータ程度）
ステップ2: ドメイン重みwをランダム初期化して代理モデルを再学習
   - 各ステップでドメイン損失 loss_d(θ) を計算
   - 過剰損失 excess_loss_d = loss_d(θ) - loss_d(ref) を算出
   - Distributionally Robust Optimization (DRO) でwを更新
ステップ3: 最適化されたドメイン比率wでフルスケールLLMを学習

数式的には：

min_θ max_w Σ_d w_d * L_d(θ)
subject to: w_d ≥ 0, Σ_d w_d = 1

実験結果

論文のPile（22ドメイン）実験では：

• DoReMiで決定した混合比でLLMを学習 → 均一混合比や人手設定比率より平均perplexity 6.5%改善
• 特に希少・専門ドメイン（DM Mathematics, EuroParl等）で大幅改善
• 学習速度向上：同等性能に達するまでのイテレーションが約2.6倍少ない

後継手法との比較

• DoReMi（2023）: Minimax最適化 + 代理モデル
• RegMix（2024）: 回帰モデルで比率を予測（DoReMiより低コスト）
• COINCIDE（2024）: データ選択と比率の同時最適化
• OpenLM（2024）: DoReMiの実装・再現実験

計算コスト

DoReMiは2段階学習が必要：

• 代理モデル: 本学習の1〜5%の計算コストが目安
• 合計: 約1.05〜1.1倍のオーバーヘッド

継続学習への応用

継続ドメイン適応でDoReMiを適用する場合、新ドメインデータと汎用リプレイデータのバランスを動的決定し、壊滅的忘却の程度を損失増加率で測定してドメイン比率をリアルタイム調整できます。DoReMiはLLMの事前学習コストを削減しつつ品質を向上させる実用的手法として、Pythia2やDolma v2などのオープンソースLLM学習でも参考にされています。