データ混合戦略（データコンゴウセンリャク）
LLMの事前学習において、Web・書籍・コード・数学・会話など異なるドメインのデータをどのような比率で混合するかを決定する戦略。DoReMiやSlimPajama等の研究でドメイン比率がモデル性能に大きく影響することが示されている。
データ混合戦略（Data Mixing Strategy）
データ混合戦略とは、LLMの事前学習で使用する学習データのドメイン別比率を最適化する手法である。Web・書籍・コード・数学・科学論文・会話データなど異なる特性のデータソースをどう組み合わせるかが、モデルの最終性能に直結する。
概要と重要性
GPT-3以降の大規模LLMは、複数のデータソースを混合して学習する。しかし各ドメインの最適比率は自明ではなく、ナイーブな均等混合はWeb偏重やコード能力不足を招く。Llama 2ではコード比率が低すぎてHumanEvalスコアが伸び悩み、Llama 3では大幅にコード比率を上げたことで改善した。
主要データセットのドメイン比率
| モデル/データセット | Web | コード | 書籍 | 学術論文 | 会話 | その他 |
|---|---|---|---|---|---|---|
| GPT-3 (2020) | 60% | - | 16% | - | - | 24% (Wikipedia等) |
| The Pile (2021) | 30% | 7% | 12% | 14% | 3% | 34% (多様) |
| Llama 1 (2023) | 67% | 4.5% | 4.5% | 2.5% | - | 21.5% |
| SlimPajama (2023) | 52% | 5% | 4% | 5% | - | 34% |
| Llama 3 (2024) | 50% | 17% | 8% | 5% | 5% | 15% |
| Qwen 2.5 (2024) | 45% | 20% | 10% | 8% | 5% | 12% |
コード比率のトレンド：GPT-3（0%）→ Llama 1（4.5%）→ Llama 3（17%）→ Qwen 2.5（20%）と年々増加。コード学習がコード以外のタスク（推論・数学）にも正の転移効果を持つことが判明したためである。
DoReMi: 最適比率の自動決定
Stanford/Google（2023年）のDoReMi（Domain Reweighting with Minimax Optimization）は、小規模プロキシモデルを使って最適なドメイン比率を自動で決定する手法。
アルゴリズムの流れ：
- 小規模モデル（280M params）を均等比率で事前学習（リファレンスモデル）
- 同サイズの別モデルをドメイン重みを変えながら学習（プロキシモデル）
- 各ドメインでリファレンスとプロキシの損失差が最大になるドメインの重みを増加
- ミニマックス最適化で全ドメインの最悪ケース損失を最小化する重みを求める
- 得られた重みで大規模モデルを本学習
DoReMiで求めた比率は、人手チューニングの比率より一貫して高い下流タスク性能を達成した（The Pileで平均2.6%改善）。
Curriculum Learning
学習の進行に応じてデータ混合比率を動的に変化させるアプローチ。
| 段階 | 学習率 | データ特性 | 目的 |
|---|---|---|---|
| 初期（0-30%） | 高 | 高品質・多様 | 基礎的な言語理解の獲得 |
| 中期（30-70%） | 中 | ドメイン特化 | 専門知識の獲得 |
| 後期（70-90%） | 低 | 高品質・バランス | 知識の統合と安定化 |
| Annealing（90-100%） | 極低 | 最高品質のみ | 最終性能の仕上げ |
Llama 3のannealing phaseでは、学習の最終段階で特に高品質なデータ（書籍・学術論文中心）に切り替え、ベンチマークスコアを1-3%向上させた。
SlimPajamaの設計思想
CerebrasとTogether AIが2023年に公開したSlimPajama（627Bトークン）は、RedPajama（1.2Tトークン）から重複排除と品質フィルタリングを徹底して構築された。
主要な設計判断：
- MinHash dedup: ドメイン内だけでなくドメイン間の重複も排除（RedPajamaの45%が重複）
- ドメイン比率の維持: 重複排除後も元の比率に近づけるようにサンプリング調整
- 品質保証: 各ドメインで100件のランダムサンプルを人手評価
Scaling Lawへの影響
データ混合比率はScaling Law（パラメータ数・データ量・計算量の関係式）にも影響する。
- コードデータの増加: 推論タスクでのscaling exponentが改善（データ効率が上がる）
- 数学データの追加: MATHベンチマークでの性能がデータ量に対してより急峻に上昇
- Web偏重のリスク: Web比率が80%を超えると多様性低下によりscaling効率が低下
よくある質問（FAQ）
Q1: コード比率を上げるとコード以外のタスクも改善するのはなぜですか？ A: コードは構造化された論理表現であり、推論能力や正確な指示実行能力の学習に寄与すると考えられています。特にJSON/XML等の構造化出力、多段階推論、数学的思考でコード学習の正の転移が確認されています。
Q2: 独自ドメインのLLMを作る場合、汎用データとの混合比率はどうすべきですか？ A: 一般的には汎用:ドメイン特化=70:30から始め、下流タスクの性能を見ながら調整します。ドメイン特化比率を50%以上にすると汎用能力が低下するリスクがあり、continual pretraining（既存汎用モデルに追加学習）の方が効率的な場合が多いです。
Q3: 学習中にデータ比率を変える（Curriculum Learning）効果はどの程度ですか？ A: Llama 3のannealing phaseの報告では、最終段階の高品質データ切り替えで1-3%のベンチマーク改善が得られています。計算コストはほぼ変わらないため、実装コストに対するリターンが高い手法です。
まとめ
- ドメイン比率はLLM性能に直結し、特にコード比率の増加が2024-2025年のトレンド
- DoReMiで最適比率を自動決定、Curriculum Learningで動的に比率を変化させる手法が有効
- Annealingフェーズでの高品質データ切り替えは低コストで効果的
- コード学習は推論・数学タスクにも正の転移効果がある