推論スケーリング（スイロンスケーリング）

推論スケーリング（Inference-Time Scaling）

推論スケーリングは、LLMの推論（テスト）時に計算資源を追加投入することで出力品質を向上させるアプローチ。2024年後半のOpenAI o1発表以降、スケーリング則の新次元として急速に注目された。

学習時スケーリング vs 推論時スケーリング

学習時スケーリング（Scaling Laws, Chinchilla則）:
  より大きなモデル × より多いデータ → 一般能力向上
  コスト: 学習時1回

推論時スケーリング:
  同じモデル × より多い推論計算 → 特定タスクでの精度向上
  コスト: 推論ごとに発生

主要手法

1. Best-of-N (BoN)

responses = [model.generate(prompt) for _ in range(N)]
best = reward_model.select_best(responses)

N=100でGSM8kスコアが大幅向上するが、コストはN倍。

2. Chain-of-Thought (CoT) + 反復精錬

思考1 → 答え1 → 「この答えを検証して」 → 思考2 → 答え2 ...

3. ツリーサーチ（MCTS/Beam Search）

問題
├── 推論経路A → 中間評価(PRMスコア)
│   ├── A1 → ... → 答えA
│   └── A2 → ... → 答えB
└── 推論経路B → 中間評価
    └── B1 → ... → 答えC
最高スコア経路を選択

4. プロセス報酬モデル（PRM）

• 最終答えだけでなく中間思考ステップを評価
• 正しい方向の思考を強化しながら探索
• OpenAI PRM800K データセットで研究進展

OpenAI o1/o3 の実装（推測）

Extended Thinking（Chain-of-Draft）と強化学習の組み合わせ:

問題 → [内部思考トークン数千] → 公開回答
思考トークン数 = 問題難易度に比例
難問ほど多くの計算リソースを消費

DeepSeek R1

オープンソース推論スケーリングモデルの代表:

• GRPO（Group Relative Policy Optimization）で強化学習
• 思考チェーンを明示的にトークンとして出力
• コスト: DeepSeek-V3比で5-20倍の推論コスト

スケーリング曲線

難問タスク（MATH, AIME等）での傾向:

推論計算量（対数スケール）
   ↑
精 |          ooooo
度 |      oooo
   |   ooo
   |  oo
   | o
   +──────────────→ 計算量

計算量に対して対数的に精度向上（収穫逓減あり）。

コスト試算

通常生成:  入力1K tokens → 出力200 tokens
Best-of-32: 入力1K tokens → 出力6,400 tokens（32倍コスト）
Extended Thinking: 入力1K → 思考8K + 出力200 tokens（~40倍コスト）

自作PCとの関係

ローカルLLM（ollama/vLLM）で推論スケーリングを活用する場合、RTX 4090クラスのGPUでもLlama-3.1-8Bのベストオブ16程度は実用的。高性能GPUほど長い思考チェーンを現実的な時間で処理できる。