データ順序最適化（データジュンジョサイテキカ）
データ順序最適化（Data Ordering Optimization）とは、機械学習モデルの訓練時に、データサンプルを提示する順序を戦略的に設計することで、学習効率や最終性能を改善する手法群の総称である。カリキュラム学習の中核技術であり、LLMの大規模事前学習では数兆トークンの処理順序が収束速度と最終精度に直接影響する。
データ順序が学習に与える影響
確率的勾配降下法（SGD）やAdamなどの最適化アルゴリズムは、ミニバッチ単位でパラメータを更新する。理論的にはデータ順序はランダムで十分だが、実際には順序によって収束経路が大きく変わる。特にLLMの事前学習では以下の影響が確認されている。
- 収束速度: 適切なデータ順序により、同一損失値に到達するまでのステップ数を8〜15%削減
- 最終性能: 同一計算予算（FLOPs）で達成可能なベンチマークスコアが1〜3ポイント向上
- 訓練安定性: 損失スパイク（突然の損失増大）の頻度と振幅が減少
- ドメインバランス: 特定ドメインの過学習や忘却を制御可能
Google DeepMindの2024年の研究では、Gemini 1.5の訓練において「データ品質スコア順のソーティング」が「完全ランダムシャッフル」に対してMMLUで2.3ポイント、HumanEvalで4.1ポイントの優位性を示した。
主要なデータ順序戦略
| 戦略名 | 原理 | 計算コスト | 効果の大きさ | 適用規模 |
|---|---|---|---|---|
| ランダムシャッフル | 各エポックで無作為並び替え | O(n) | ベースライン | 全規模 |
| 難易度ソート | proxyモデルの損失値で昇順ソート | O(n log n) + proxy推論 | 中〜大 | 10B+パラメータ |
| データ品質フィルタリング | 品質スコアで閾値カット+ソート | O(n) + 分類器推論 | 大 | 全規模 |
| ドメインスケジューリング | 訓練段階ごとにドメイン比率を動的変更 | O(1) per step | 中 | 100B+パラメータ |
| 影響関数ベース | 各サンプルの勾配寄与度で優先順位付け | O(n × d) | 最大 | 1B以下（計算制約） |
実装における3つのレイヤー
レイヤー1: オフラインスコアリング
訓練開始前に全データに難易度・品質スコアを付与する。LLaMA 3ではfastText分類器とperplexityフィルタの2段階パイプラインを採用。fastTextで言語・ドメイン分類（処理速度: 100万文書/秒）、次にGPT-2 Small相当のモデルでperplexityスコアを計算（処理速度: 約5万文書/秒）する。
レイヤー2: ペーシング関数
訓練ステップtにおいて、どの難易度レンジからサンプリングするかを制御する関数。代表的なペーシング関数は以下の通り。
- 線形ペーシング: 難易度上限を線形に増加。d_max(t) = d_min + (d_max - d_min) × t/T
- 指数ペーシング: 初期は急速に難易度を上げ、後半で飽和。d_max(t) = d_max × (1 - e^(-λt))
- コサインペーシング: コサインカーブで滑らかに遷移。d_max(t) = d_min + (d_max - d_min) × (1 - cos(πt/T))/2
DeepMindの実験ではコサインペーシングが最も安定した結果を示し、学習率スケジューラとの親和性も高かった。
レイヤー3: オンライン適応
訓練中のモデル状態に基づいてサンプリング戦略を動的に調整する。具体的には、バリデーション損失が停滞した場合に難しいサンプルの比率を上げる、特定ドメインの損失が増加した場合にそのドメインのサンプル頻度を上げるなどの適応が行われる。
D4（Data Distributional shift During Distillation）
2024年にMicrosoftが提案したD4は、知識蒸留とデータ順序最適化を統合した手法である。教師モデルの出力分布が生徒モデルの学習段階に応じて変化する（分布シフト）ことを利用し、生徒の現在能力に最適なデータを自動選択する。Phi-3の訓練で実証され、同一データ量で従来手法対比5%の性能向上を達成した。
大規模実装の課題
数兆トークン規模のデータセットでは、全データのソーティングやスコアリング自体が大きな計算・ストレージコストとなる。実務的な対処として以下のアプローチが採られる。
- チャンク単位ソーティング: データを100GBチャンクに分割し、チャンク内でソート。チャンク間の順序はドメインスケジューリングで制御
- 近似スコアリング: 全文ではなく先頭256トークンのperplexityで近似。LLaMA 3で採用され、全文スコアとのSpearman相関は0.91
- ハッシュベースバケッティング: データIDのハッシュ値でバケット分割し、バケット内のみソート。O(n)からO(n/K × log(n/K))に計算量削減
FAQ
Q: データ順序最適化は分散訓練と両立しますか？
A: 両立可能だが工夫が必要である。各ワーカーに異なる難易度のデータが割り当てられると勾配の分散が増大するため、全ワーカーで同一難易度レンジからサンプリングする「同期カリキュラム」が推奨される。Megatron-LMの実装ではデータ並列のランク間でカリキュラムステージを同期するオプションが提供されている。
Q: 事前学習とファインチューニングでデータ順序戦略は異なりますか？
A: 大きく異なる。事前学習ではテキスト品質・複雑度ベースの順序が効果的だが、ファインチューニングではタスク難易度（指示の複雑さ、推論ステップ数）ベースの順序が有効である。FLAN-T5ではタスク数を段階的に増やす戦略が採用された。
Q: データ順序最適化のオーバーヘッドを最小化するには？
A: 最も費用対効果が高いのはテキスト長ベースのソーティングで、スコアリングコストがゼロである。次にfastTextベースのドメイン分類（100万文書/秒）が効率的。perplexityスコアリングはコストは高いが効果も最大で、proxyモデルサイズを小さく（125M〜1B）することでバランスを取れる。