LLMスケーリング則とは、大規模言語モデルのパラメータ数・訓練データ量・計算量を増大させると、モデルの性能（損失）がべき乗則（Power Law）に従って予測可能に改善されるという経験的法則である。2020年のKaplan et al.論文で体系化され、GPT-4やLlama 3など現代の大規模モデル設計の理論的基盤となっている。
LLMスケーリング則（Scaling Laws for Neural Language Models）とは、大規模言語モデルの損失関数がモデルサイズ（パラメータ数N）、訓練データ量（トークン数D）、計算量（FLOPs C）の3変数に対してべき乗則（Power Law）で減少するという経験的法則である。2020年にOpenAIのJared Kaplan らが発表した論文で初めて体系的に定式化され、その後のLLM開発における最も重要な指導原理の一つとなった。
ニューラルネットワークの性能がモデル規模とともに改善されることは以前から知られていたが、その関係を定量的に記述したのがスケーリング則である。Kaplan et al. (2020) は、Transformerベースの言語モデルにおいて、テスト損失 L が以下のべき乗則に従うことを実証した：
これらの関係は6桁以上のスケール範囲で成立し、アーキテクチャの細部（層数/幅/ヘッド数の配分）よりもモデルの総パラメータ数が性能を支配するという「スケーリング仮説」を裏付けた。
| 軸 | 変数 | べき指数（Kaplan） | べき指数（Chinchilla） | 意味 |
|---|---|---|---|---|
| パラメータ数 | N | -0.076 | -0.050 | モデルサイズ倍増で損失約5%改善 |
| データ量 | D | -0.095 | -0.095 | データ倍増で損失約6.5%改善 |
| 計算量 | C | -0.050 | -0.050 | 計算量倍増で損失約3.4%改善 |
| パラメータ×データ | N×D | — | 1:20推奨比 | Chinchilla最適比率 |
| 訓練ステップ |
| S |
| -0.076 |
| — |
| バッチサイズ固定時の収束速度 |
2022年にDeepMindのHoffmann et al.が発表したChinchilla論文は、Kaplanのべき指数を修正し、特にデータ量の重要性を上方修正した。これにより、パラメータ数とデータ量は等しい割合でスケールさせるべき（計算最適条件）という新たな知見が得られた。
| モデル | パラメータ数 | 訓練トークン数 | N:D比 | 計算量(FLOP) | スケーリング思想 |
|---|---|---|---|---|---|
| GPT-3 | 175B | 300B | 1:1.7 | 3.14×10²³ | Kaplan式（パラメータ優先） |
| Chinchilla | 70B | 1.4T | 1:20 | 5.76×10²³ | Hoffmann式（計算最適） |
| Llama 2 70B | 70B | 2T | 1:28.6 | 1.0×10²⁴ | Over-trained（推論コスト重視） |
| Llama 3 70B | 70B | 15T | 1:214 | 6.4×10²⁴ | 極端なover-training |
| GPT-4 | 推定1.8T MoE | 推定13T | — | 推定2.1×10²⁵ | MoE+大規模データ |
| Gemini Ultra | 推定540B | 推定数兆 | — | 推定1×10²⁶ | マルチモーダルスケーリング |
Kaplan論文以降、各社のアプローチは分岐している。MetaのLlama 3はChinchilla最適比を大きく超える「over-training」戦略を採用し、訓練コストを増やす代わりに推論時のコストを削減する設計思想を示した。
スケーリング則の核心は対数空間における線形性にある。log(L) vs log(N) のプロットが直線になるということは、L = aN^b の形式（べき乗則）で表現できることを意味する。この性質により：
ただし、この外挿には限界があり、特に「創発的能力」（Emergent Abilities）の出現タイミングは予測困難である。
Q1: スケーリング則はどの程度正確にモデル性能を予測できるか？ A: 6桁以上のスケール範囲でテスト損失を10〜20%の精度で予測できる。ただしベンチマークスコアや実タスク性能の予測精度は損失予測より低く、特にCoT推論や複雑な指示追従など創発的能力の出現タイミングは予測困難である。GPT-4の開発ではスケーリング則予測と実測値の乖離は約15%以内に収まったとOpenAIが報告している。
Q2: 小さなモデルはスケーリング則を無視すべきか？ A: いいえ。スケーリング則は「同一手法でスケールした場合」の性能予測であり、小型モデルでもデータ品質向上・蒸留・量子化など別軸の最適化で実用性能を確保できる。Phi-3 mini（3.8B）は高品質データにより、Llama 2 13Bを複数ベンチマークで上回る。スケーリング則は最大性能の上限を示すガイドラインであり、効率的な設計の否定ではない。
Q3: スケーリング則は今後も成り立つか？ A: 純粋なデータ・パラメータスケーリングには物理的限界がある。2025年時点でWeb上の高品質テキストデータはほぼ枯渇に近づいているとされ、合成データ生成やマルチモーダルデータの活用が必須になりつつある。また推論時計算（test-time compute scaling）という新軸のスケーリング則が注目されており、従来のpre-training中心のスケーリング則は拡張・修正されていく可能性が高い。