計算最適訓練（LLM）（ケイサンサイテキクンレン）
計算最適訓練とは、固定された計算予算（FLOPs）のもとで、モデルのパラメータ数Nと訓練データ量Dの配分を最適化し、テスト損失を最小化するLLM訓練戦略である。Chinchilla研究を起点とし、近年はover-trainingや推論コスト最適化を含めた拡張的な計算最適理論が展開されている。
計算最適訓練（LLM）とは
計算最適訓練（Compute-Optimal Training）とは、与えられた計算予算C（FLOPs）のもとで、モデルサイズN（パラメータ数）と訓練データ量D（トークン数）の配分を最適化し、結果として得られるモデルのテスト損失を最小化する訓練戦略である。C ≈ 6NDの近似式のもと、NとDの最適バランスを求めることが核心的な問題となる。
計算最適条件の定式化
訓練の総計算量は以下で近似される：
C ≈ 6ND（forward pass 2ND + backward pass 4ND）
固定Cのもとで損失L(N,D)を最小化する最適解は：
| 研究 | N_opt(C) | D_opt(C) | N:D比 |
|---|---|---|---|
| Kaplan et al. (2020) | C^0.73 | C^0.27 | N優先 |
| Hoffmann et al. (2022) | C^0.50 | C^0.50 | 等分 |
| Muennighoff et al. (2023) | C^0.49 | C^0.51 | ほぼ等分 |
Kaplanの結論（大きなモデルを短時間訓練）とChinchillaの結論（適切なサイズのモデルを長時間訓練）は根本的に異なる投資判断を導く。
計算予算別の最適モデル設計
| 計算予算(FLOP) | Chinchilla最適N | Chinchilla最適D | 推論最適N | 推論最適D | 代表モデル |
|---|---|---|---|---|---|
| 10¹⁹ | 400M | 8.3B | 100M | 16.7B | GPT-2 small級 |
| 10²⁰ | 1.3B | 26B | 400M | 83B | GPT-2 medium級 |
| 10²¹ | 4.2B | 83B | 1.3B | 260B | Llama 3 8B級 |
| 10²² | 13B | 260B | 4.2B | 830B | Llama 2 13B級 |
| 10²³ | 42B | 830B | 13B | 2.6T | Chinchilla級 |
| 10²⁴ | 130B | 2.6T | 42B | 8.3T | GPT-4級(推定) |
| 10²⁵ | 420B | 8.3T | 130B | 26T | Gemini Ultra級 |
「推論最適」列は、推論コスト（デプロイ後の運用コスト）を含めた場合の最適バランスであり、Chinchilla最適よりも小さなモデルをより多くのデータで訓練する方向にシフトする。
計算最適から推論最適への転換
2023年以降、業界の主流は「Chinchilla最適」から「推論コストを含めた全体最適」へシフトしている：
訓練コスト最適（Chinchilla流）: 固定計算予算下でテスト損失を最小化。訓練は1回だけなのでこの条件で最適化するのが自然に見えるが、モデルがデプロイされた後の推論コストを無視している。
推論コスト最適（Over-training流）: 訓練コスト+推論コストの合計を最小化。推論は数十億回行われるため、推論時に小さなモデルを使う方がトータルで安い。結果として、Chinchilla最適よりも小さなモデルを10〜100倍のデータで訓練する戦略が合理的になる。
実例:
- Llama 3 8B: 15Tトークンで訓練。Chinchilla最適（160B）の約94倍のデータ量
- Gemma 2 2B: 2Tトークンで訓練。Chinchilla最適（40B）の約50倍
- Phi-3 mini 3.8B: 3.3Tトークンで訓練。Chinchilla最適（76B）の約43倍
GPT-4とLlama 3の計算最適戦略比較
| 側面 | GPT-4 (推定) | Llama 3 70B |
|---|---|---|
| アーキテクチャ | MoE（推定8×220B） | Dense Transformer |
| 総パラメータ | 推定1.8T | 70B |
| 活性パラメータ | 推定220B | 70B |
| 訓練トークン | 推定13T | 15T |
| 計算量 | 推定2.1×10²⁵ | 6.4×10²⁴ |
| Chinchilla比 | 不明（MoEのため比較困難） | N:D=1:214（over-trained） |
| 推論FLOPs/token | 推定440B | 140B |
| 訓練コスト | 推定$100M+ | 推定$30M |
GPT-4はMoEアーキテクチャにより総パラメータ数を増やしつつ推論コストを抑え、Llama 3はDenseアーキテクチャで小型モデルをover-trainすることで推論コストを削減している。
計算最適理論の拡張
- 品質調整スケーリング: データ品質をq ∈ [0,1]で数値化し、L(N,D,q)の3変数最適化に拡張。高品質データのフィルタリングは実効データ量を増やすのと等価
- MoEスケーリング: N_active（活性パラメータ）とN_total（総パラメータ）を区別し、MoEの計算最適条件を別途導出する研究が進行中
- 推論時計算スケーリング: 訓練時の計算量Cに加えて推論時の計算量C_inf（CoTトークン数、beam search幅）を含めた全体最適化
- 合成データ混合率: 自然データと合成データの最適混合比率をスケーリング則に組み込む試み
よくある質問（FAQ）
Q1: 計算最適訓練とover-trainingのどちらを選ぶべきか？ A: ユースケースに依存する。研究目的で1回だけ最高性能を測定するならChinchilla最適、商用サービスとして大量の推論をさばくならover-trainingが合理的である。Llama 3のように推論コストが支配的なケースでは、over-trainingによる追加訓練コストは推論コスト削減で容易にペイする。
Q2: 計算予算が10^21 FLOPsの場合、最適なモデルサイズは？ A: Chinchilla最適では約4.2Bパラメータ、83Bトークンで訓練。推論最適では約1.3Bパラメータ、260Bトークンで訓練。後者はMeta のLlama 3 8Bの設計思想に近い。選択は推論頻度と訓練1回あたりの予算制約に依存する。
Q3: GPUの世代交代は計算最適条件を変えるか？ A: 間接的に変える。H100→B200でFP8性能が3〜5倍向上すると、同一予算で確保できるFLOPsが増え、最適なモデルサイズ・データ量の絶対値が変わる。ただしN_opt ∝ C^0.5の比例関係自体は不変であり、GPU世代は計算予算Cを変えるパラメータとして作用する。
まとめ
- 計算最適訓練は固定FLOPsでN×Dの配分を最適化する戦略
- Chinchilla最適（N:D=1:20）は訓練コストのみの最適化、推論最適は全体コスト最適化
- 2024年以降はover-training（Chinchilla比10〜100倍のデータ）が商用モデルの主流
- MoE・推論時計算・合成データなど計算最適理論の拡張が活発に研究されている