Compute-Optimal Scaling（チンチラスケーリング則）（コンピュート オプティマル スケーリング チンチラ スケーリング ソク）
2022年DeepMindが提案した、固定計算予算でモデルサイズとトークン数を最適に配分するスケーリング則。モデルパラメータ数Nとトークン数DはN:D≈1:20が最適であることを示し、当時の大型モデルがトークン不足で訓練されていたことを指摘した。通称「Chinchilla則」。
Compute-Optimal Scaling（チンチラスケーリング則）完全ガイド
概要
Compute-Optimal Scaling（計算最適スケーリング）は、2022年3月にDeepMindのJordan Hoffmannらが発表した論文「Training Compute-Optimal Large Language Models」で提唱されたスケーリング法則。通称「Chinchilla論文」。
2020年のKaplan et al.（OpenAI）のスケーリング則では「固定計算予算ではモデルを大きくすることを優先すべき」とされていたが、Chinchilla論文はこれを覆し「モデルサイズとトークン数は同等に重要」であることを示した。
スケーリング則の核心
固定計算予算 C（FLOPs）のとき、最適なモデルパラメータ数 N* とトークン数 D* は：
N* ≈ D* / 20 （N と D は同じ速度でスケール）
L(N, D) = E + A/N^α + B/D^β を最小化すると：
N_opt ∝ C^0.5
D_opt ∝ C^0.5
Kaplan則との比較
| 観点 | Kaplan則（OpenAI 2020） | Chinchilla則（DeepMind 2022） |
|---|---|---|
| 最適N vs D | N ∝ C^0.73（モデル優先） | N ∝ C^0.5（均等） |
| 推奨 | 大モデル + 少トークン | 小モデル + 多トークン |
| 代表モデル | GPT-3 175B/300Bトークン | Chinchilla 70B/1.4Tトークン |
Chinchillaモデルの実証
| モデル | パラメータ数 | 訓練トークン数 | 結果 |
|---|---|---|---|
| Gopher | 280B | 300B | DeepMind先代 |
| Chinchilla | 70B | 1.4T | Gopherを全ベンチで上回る |
70B × 1.4T ≈ 280B × 300B（同等の計算予算で、Chinchillaが圧勝）。
LLM業界への影響
- Llama 1（2023）: 7B/65Bを1T/1.4Tトークンで訓練 → Chinchilla準拠
- Llama 2（2023）: 7B/70Bを2Tトークンで訓練 → Chinchillaを若干超過
- Llama 3（2024）: 8B/70Bを15Tトークンで訓練 → 大幅過剰訓練
なぜあえて「過剰訓練（Overtraining）」するのか？
Chinchilla則は「訓練コスト最小化」を最適化するが、実際のサービスでは「推論コスト」が重要。小さくて多くのトークンで訓練されたモデルほど同じ性能を低パラメータで達成できるため推論コストが低い。Llama 3の8Bモデルが70Bモデルに匹敵するケースがあるのはこの理由。
2025年の最新動向
- Phi-4（Microsoft）: 14Bを数十Tトークンで訓練 → 推論効率最大化
- Gemma 3（Google）: 4B/12B/27Bを超高品質データで大量訓練
- Qwen3（Alibaba）: 0.6B〜235Bを大量トークンで訓練
データウォール問題: GPT-4以降のフロンティアモデルはインターネット上の高品質テキスト枯渇（データウォール）に直面しており、合成データ生成・厳選・数学的証明データへのシフトが進んでいる。
関連用語
- 3D Parallelism: 大規模LLM訓練の並列化インフラ
- Ring Attention: 長文脈学習のためのシーケンス並列化
- Sequence Parallelism（Megatron）: テンソル並列と組み合わせたメモリ削減