DoReMiデータ混合最適化（ドレミデータコンゴウサイテキカ）

DoReMi（ドメイン再重み付けミニマックス最適化）とは

DoReMi（Domain Reweighting with Minimax Optimization）は、Xie et al.（Stanford/Google, 2023）が発表したLLM事前学習データ混合の自動最適化アルゴリズムです。人間が手動でドメイン比率を設定する代わりに、小規模プロキシモデルを使ってゲーム理論的なミニマックス最適化で最適な配合比率を自動発見します。

問題設定：データ混合の難しさ

LLM事前学習では、Web・書籍・コード・学術論文・ニュースなど複数ドメインのテキストを混合します。この混合比率は最終モデルの性能に大きく影響しますが：

• 手動設定は研究者の経験に依存（GPT-3、PaLMなど）
• 全ての組み合わせを試すのは計算コストが高い
• ドメイン間の相互作用が複雑で予測困難

アルゴリズム概要

Step 1: 参照モデル（小規模）を一様混合で学習
Step 2: プロキシモデルをDoReMiで最適化
  - 各ドメインの超過損失（プロキシ - 参照）を計算
  - 超過損失が大きいドメインの重みを増加（ミニマックス）
  - 乗法的重み更新（Multiplicative Weights Update）を適用
Step 3: 算出した最適重みで本モデルを学習

直感的には、最も「苦手な」ドメインに注目して学習することで、全ドメインで均衡した性能を達成します。

数学的定式化

DoReMiは以下のミニマックス問題を解きます：

min_θ max_{w ∈ Δ} Σ_k w_k × (L_k(θ) - L_k(θ_ref))

- θ: モデルパラメータ
- w_k: ドメインkの混合重み（Δは単体=総和1）
- L_k(θ): ドメインkでのプロキシモデルの損失
- L_k(θ_ref): ドメインkでの参照モデルの損失

検証実験（Xie et al. 2023）

The Pile（22ドメイン）での実験結果：

• 均一混合: ベースライン
• 手動チューニング（GPT-3式）: -3.2%（一部ドメインで性能低下）
• DoReMi: -6.7%（全ドメインで向上）

280Mプロキシモデルで算出した重みを8Bモデルに適用して検証。わずか280Mの計算コスト追加で8Bのベースラインを大幅に上回りました。

DoReMi+（後続研究）

2024年には「Online DoReMi」も提案されており、事前の参照モデル学習を不要にしてオンラインで混合比率を動的更新する改善版が開発されています。

実用上の考慮点

• プロキシモデルサイズ: 本モデルの1〜5%スケールが推奨（280M → 8Bなど）
• ドメイン定義の粒度: 粗すぎると最適化が粗く、細かすぎると計算コスト増
• 参照モデルの質: 参照が悪いと超過損失の計算が不正確になる

DoReMiはデータキュレーションパイプラインの自動化に向けた重要な一歩であり、LLM事前学習の再現性向上にも貢献しています。