Chinchillaスケーリング則（チンチラスケーリングソク）

Chinchillaスケーリング則とは

2022年3月にDeepMindのJordan HoffmannらがarXivに発表した論文「Training Compute-Optimal Large Language Models」に基づくスケーリング則。70Bパラメータの「Chinchilla」モデルを1.4Tトークンで学習することで、280BパラメータのGopherを大幅に上回る性能を達成し、「パラメータ数とデータ量は同等にスケールさせるべき」という新たなスケーリング則を提示した。

Kaplan則（旧スケーリング則）との比較

OpenAIが2020年に発表したKaplan則は「固定計算予算ではモデルパラメータを最大化するのが最適」と主張。これがGPT-3（175B、300Bトークン）のような「巨大モデル×少データ」設計の根拠となった。

• Kaplan則: パラメータ増加 >> データ増加
• Chinchilla則: パラメータ増加 ≈ データ増加（比率1:20）

例: 10Bパラメータモデルには200Bトークンが最適（Chinchilla則） Kaplan則では同計算量で100Bパラメータ × 20Bトークンを推奨

Chinchilla最適比率の根拠

実験では400M〜16Bパラメータの各種サイズのモデルを、5B〜500Bトークンのデータで学習。合計400以上のモデルを訓練して損失の挙動を分析した。

最適パラメータ数 N* ∝ C^0.5、最適トークン数 D* ∝ C^0.5（Cは総計算量） → N* と D* は同率でスケールすべき → 経験的に D* ≈ 20 × N* が最適

Chinchilla則がもたらした変革

LLaMAシリーズへの影響（Meta, 2023-2024）

• LLaMA 1 (7B): 1.0Tトークン学習（Chinchilla比: 143倍）
• LLaMA 2 (7B): 2.0Tトークン学習
• LLaMA 3 (8B): 15.0Tトークン学習（意図的過学習）

LLaMA 1はChinchilla則を意識し「小さいモデルを大量データで学習」することで推論コストを削減しながら高性能を実現。

Mistral 7B（2023年）

Chinchilla最適比率よりはるかに多いデータで学習したSliding Window Attention採用モデル。コスパ最強クラスの性能を実現。

「推論コストを考慮した最適化」という発展

2023-2024年には「Chinchillaは学習コスト最小化を最適化しているが、モデルを多数回推論する場合は過学習（Overtrain）が有利」という議論が登場。

学習コスト最適: Chinchilla則に従う 総コスト最適（学習+推論×100万回）: より小さいモデルを多くのデータで過学習させる方が有利

これがLLaMA 3の8Bモデルを15Tトークンで学習（Chinchilla最適の約10倍）した根拠。

2025年の最新知見

• Phi-4（Microsoft, 2024）: 合成データ重視でChinchilla則の前提（自然データの希少性）を覆す
• FineWeb-Edu: データ品質スコアリングにより「量より質」の方向性が再注目
• DeepSeek V3: MoEアーキテクチャでChinchilla則が密なTransformerと異なるスケーリング挙動を示す

自作PCとのスケール感

Chinchilla則で最適とされる7Bモデルに必要な計算量は約5×10²² FLOPs。RTX 4090（165 TFLOPS）で換算すると約350万秒≒40日分の連続稼働に相当。macmini M4 Pro（50 TFLOPS）なら約115日分。LLMの事前学習がいかに巨大な計算資源を要するかがわかる。