Test-Time Compute Scaling（テストタイムコンピュートスケーリング）

Test-Time Compute Scaling とは

Test-Time Compute Scaling（TTC）は、LLM（大規模言語モデル）の推論時に計算資源を増やすことで出力品質を向上させる一連のアプローチの総称だ。学習フェーズではなく推論フェーズに焦点を当てる点が、従来のスケーリング則（Scaling Laws）との決定的な違いである。

背景：学習時スケーリングの限界

2020年代前半、LLMの性能向上はパラメータ数と学習データ量の増大によって達成されてきた（Kaplan et al. 2020のスケーリング則）。しかし2023〜2024年にかけて以下の問題が顕在化した。

• 学習コストの爆発的増大：GPT-4規模のモデルには数百億円の学習コストが必要
• データ枯渇：高品質なWebテキストは有限であり、2026年頃に上限到達が予測される
• 逓減する利益：モデルサイズを10倍にしても性能が2倍にもならない

これに対してTTCは推論時に賢く計算を使うことで、同等のモデルでより高品質な出力を生成する。

主要手法

1. Best-of-N Sampling

最も単純な手法。N個の独立した出力をサンプリングし、報酬モデル（RM）でスコアリングして最高スコアを採択する。N=4〜64が実用的で、数学・コーディングタスクで有効。

2. Self-Consistency

Chain-of-Thought（CoT）を多数生成し、最終回答を多数決で決定する。報酬モデル不要で実装が容易。

3. Tree of Thoughts（ToT）

中間思考を木構造で生成・探索。BFS/DFSとLLMの自己評価を組み合わせ、最良経路を選択する。

4. Monte Carlo Tree Search（MCTS）

ゲームAIで実績のあるMCTSをLLM推論に適用。プロセス報酬モデル（PRM）でノードをスコアリングしながらUCTで探索する。

5. Extended Thinking

AnthropicのClaude 3.5/3.7で採用。モデルが内部で推論トークンを大量生成してから最終回答を出力する。

代表的な実装

OpenAI o1/o3は内部MCTSとPRMを組み合わせ、推論トークンを非公開で利用する。DeepSeek R1はGRPO（Group Relative Policy Optimization）とBest-of-Nを組み合わせ、OSSで低コストに実現した。Anthropic Claude 3.5/3.7はExtended Thinkingとして思考トークンを可視化する形で実装している。Qwen QwQ-32BはSelf-Consistency系の手法を多言語対応で提供する。

スケーリング効果

Test-Time Computeは計算量と性能が対数的に向上する特性を持つ。Best-of-Nでは性能がlog(N)に比例して向上し、MCTSではさらに効率的な探索が可能だ。

Snell et al. 2024の研究では「適切なTTC手法を用いれば、小型モデルが大型モデルの性能を超えられる」ことが示されている。特に数学・コーディング・科学推論において、7Bモデル+TTC が 70Bモデルのgreedy decodingを上回るケースが報告された。

課題と限界

• レイテンシ増大：N倍のサンプリングはN倍の時間を要する
• コスト：推論コストがN倍になりAPIコスト増大
• 報酬モデルの品質依存：RM/PRMの精度が最終性能を左右する
• 適用タスクの限界：検証可能なタスク（数学・コード）で効果大、主観的タスクでは限定的

2025年のトレンド

2024年末のOpenAI o1リリースを契機に、TTC研究は爆発的に拡大した。2025年にはより効率的なPRM構築手法・小型モデルへのTTC適用・TTCと学習の統合（RLVR: Reinforcement Learning from Verifiable Rewards）が主要テーマとなっている。

まとめ

Test-Time Compute Scalingは「学習を増やす」から「推論を賢くする」へのパラダイムシフトを表す。2025〜2026年のLLM開発の主流は、モデルサイズ競争からTTC最適化へと移行しつつある。