テスト時計算（Test-Time Compute）（テストジケイサン）
LLMの推論時に追加の計算リソースを投入して回答品質を向上させる手法の総称。学習時ではなく推論時にスケーリングを行う点が特徴で、OpenAI o1/o3やDeepSeek R1などの推論モデルの基盤技術である。
テスト時計算（Test-Time Compute）とは
テスト時計算（Test-Time Compute）とは、大規模言語モデル（LLM）が推論（テスト）フェーズで追加の計算資源を使い、より高品質な回答を生成する技術体系である。従来のLLMスケーリングは学習時のパラメータ数やデータ量を増やす「学習時スケーリング」が主流だったが、2024年後半からOpenAI o1の登場を契機に「推論時スケーリング」という新パラダイムが確立された。
基本的な仕組み
テスト時計算の核心は、1つの質問に対して単純に1回の前方パスで回答するのではなく、複数の推論ステップや探索を行うことで回答精度を高める点にある。主要なアプローチは以下の通りである。
- Chain-of-Thought（CoT）推論: モデルが中間的な思考ステップを生成し、段階的に最終回答に到達する。OpenAI o1では数千トークンの内部思考が生成される
- ベストオブN サンプリング: 同じ質問に対して複数の回答候補を生成し、検証器（Verifier）で最良のものを選択する
- ツリー探索: モンテカルロ木探索（MCTS）やビームサーチを用いて、思考の分岐を体系的に探索する
- 自己修正（Self-Correction）: モデルが自身の回答を批判的に評価し、誤りを検出・修正するループを回す
- 報酬モデルガイド: Process Reward Model（PRM）が各推論ステップを評価し、有望な方向に探索を誘導する
学習時スケーリングとの比較
| 比較項目 | 学習時スケーリング | テスト時スケーリング |
|---|---|---|
| スケール対象 | パラメータ数・学習データ量 | 推論時の計算量・探索回数 |
| コスト発生タイミング | 学習時（1回） | 推論のたび（毎回） |
| 代表モデル | GPT-4、Claude 3.5 Opus | OpenAI o1/o3、DeepSeek R1 |
| レイテンシ | 低（単一前方パス） | 高（数秒〜数分） |
| 適用タスク | 汎用 | 数学・コード・論理推論に特に有効 |
| スケーリング則 | Chinchilla則 | 推論計算最適配分則（2024年） |
| 限界 | 学習データ枯渇問題 | 推論コスト増大・レイテンシ |
主要な推論モデルと性能
テスト時計算を活用した代表的なモデルを比較する。
| モデル | 開発元 | AIME 2024正答率 | GPQA Diamond | Codeforces Rating | 推論コスト目安 |
|---|---|---|---|---|---|
| OpenAI o1 | OpenAI | 83.3% | 78.0% | 1,807 | $15/1M入力 |
| OpenAI o3 | OpenAI | 96.7% | 87.7% | 2,727 | $20/1M入力 |
| DeepSeek R1 | DeepSeek | 79.8% | 71.5% | 1,481 | $0.55/1M入力 |
| Claude 3.5 Opus（Extended Thinking） | Anthropic | 75.0% | 68.0% | - | $15/1M入力 |
| Gemini 2.0 Flash Thinking | 73.3% | 70.4% | - | $0.10/1M入力 | |
| Qwen QwQ-32B | Alibaba | 79.5% | 65.2% | 1,316 | オープンソース |
スケーリング則と計算予算配分
2024年のGoogle DeepMindの研究（Snell et al.）では、テスト時計算にもスケーリング則が存在することが示された。重要な知見は以下の通りである。
- 計算予算の最適配分: 問題の難易度に応じて推論時計算量を動的に調整することで、固定計算量の14倍以上の効率を達成できる
- 小モデル + 大推論 > 大モデル + 小推論: 特定条件下では、小さいモデルに多くのテスト時計算を割り当てる方が、大きいモデルを単純に実行するより高性能になる
- 収穫逓減: 推論計算を増やし続けても改善は対数的に減少する。実用的には10〜100倍の推論計算増加が効果的な範囲とされる
- タスク依存性: 数学・形式論理・コード生成では効果が大きいが、創造的文章生成や日常会話では効果が限定的
実装アーキテクチャ
テスト時計算を実装するための主要な技術スタックを示す。
- vLLM + SGLang: 大規模バッチ推論で多数の候補を並列生成。SGLangのRadix Attentionにより共通プレフィックスのKVキャッシュを共有し、ベストオブNサンプリングのスループットを3〜5倍改善
- TensorRT-LLM: NVIDIA GPUに最適化された推論エンジン。Speculative Decodingとの組み合わせで推論時計算のレイテンシを削減
- Process Reward Model（PRM）: 各推論ステップを個別に評価するモデル。Math-Shepherd PRMやOpenAI PRM800Kが代表的なデータセット
- MCTS統合: AlphaGoで実績のあるモンテカルロ木探索をLLM推論に適用。rStar-Math（Microsoft、2025年）では数学タスクで顕著な改善を報告
2025〜2026年の最新動向
- OpenAI o3-mini（2025年1月）: 推論コストをo1の1/10に削減しつつ、STEM分野の性能を維持。API料金は$1.10/1M入力トークン
- DeepSeek R1-Zero（2025年1月）: 強化学習のみ（SFTなし）で推論能力を獲得。学習コストはo1推定の1/20以下
- 適応的計算予算（2025年）: 簡単な質問には少ない推論で即答し、難問にのみ大量計算を投入する動的制御が主流化
- 推論時計算の蒸留（2026年）: 大きな推論モデルの思考過程を小さなモデルに蒸留する技術。DeepSeek R1-Distill-Qwen-7Bなどが登場
- ハードウェア最適化: NVIDIA Blackwell B200/B300アーキテクチャがFP4推論をネイティブサポートし、推論時計算のコスト効率が2〜3倍改善
よくある質問（FAQ）
Q1: テスト時計算は全てのタスクで効果があるのか？ A: いいえ。数学・論理推論・コード生成など正解が明確なタスクで最も効果が大きい。日常会話や創造的文章生成では改善が限定的で、追加コストに見合わないケースが多い。タスクの「検証可能性」が効果の鍵となる。
Q2: テスト時計算のコストはどの程度増加するのか？ A: モデルと設定によるが、通常の推論と比べて5〜100倍のトークン生成が発生する。OpenAI o1の場合、内部思考トークンを含めると1回の応答で数万トークンを消費することもある。ただし、o3-miniのような効率化モデルでは10〜20倍程度に抑制されている。
Q3: オープンソースでテスト時計算を利用できるか？ A: DeepSeek R1（671Bパラメータ）とその蒸留モデル群（1.5B〜70B）がMITライセンスで公開されている。Qwen QwQ-32BもApache 2.0で利用可能。vLLMやSGLangと組み合わせることで、自前サーバーでテスト時計算を実行できる。
Q4: 将来的にテスト時計算は学習時スケーリングを置き換えるのか？ A: 完全な置き換えではなく、相互補完的な関係になるとされている。学習時に高品質なベースモデルを構築し、推論時に追加の計算で性能を引き上げるハイブリッドアプローチが2026年時点の主流である。
まとめ
- テスト時計算は推論フェーズで追加計算を投入して回答品質を向上させる技術体系
- OpenAI o1/o3、DeepSeek R1が代表的な実装で、数学やコード生成で顕著な効果を発揮
- 計算予算の動的配分が重要で、全質問に一律の計算量を割り当てるのは非効率
- オープンソースモデル（DeepSeek R1、Qwen QwQ）により自前環境での利用も可能
- 2026年現在、学習時と推論時のスケーリングを組み合わせたハイブリッドアプローチが主流