投機的検証（Speculative Verification）（トウキテキケンショウ（スペキュレイティブベリフィケーション））
投機的検証（Speculative Verification）とは、LLM推論における投機的デコーディング（Speculative Decoding）の中核をなす検証フェーズであり、小型のドラフトモデルが高速に生成した候補トークン列を大型のターゲットモデルが一括で検証・採択する仕組みである。ドラフトモデルの自己回帰生成を並列検証に置き換えることで、出力分布を変えずに推論速度を2〜5倍に高速化できる。Leviathan et al.（2023）とChen et al.（2023）が独立に提案し、現在はvLLM・TensorRT-LLM・SGLangなど主要推論フレームワークに標準実装されている。
投機的検証の基本概念
投機的デコーディング（Speculative Decoding）は、大規模言語モデル（LLM）の推論をメモリ帯域律速（memory-bandwidth bound）から解放するための手法群であり、その中核にあるのが投機的検証（Speculative Verification）フェーズである。自己回帰（autoregressive）生成では、各トークンを1つずつ逐次生成するため、GPUの演算能力に対してメモリ帯域がボトルネックとなる。投機的デコーディングはこの問題に対し、「推測してからまとめて検証する」というパラダイムで高速化を実現する。
基本的なワークフローは以下の通りである。
- ドラフト段階: 小型で高速なドラフトモデル（Draft Model）Mqが、γ個の候補トークン列 x1, x2, ..., xγ を自己回帰的に生成する
- 検証段階: 大型のターゲットモデル（Target Model）Mpが、候補トークン列全体を1回のフォワードパスで一括処理し、各位置の確率分布を算出する
- 採択・棄却段階: 修正棄却サンプリング（Modified Rejection Sampling）アルゴリズムに基づき、ドラフトトークンを先頭から順に採択または棄却する。最初の棄却位置以降のトークンは破棄され、棄却位置では修正分布からリサンプリングされる
この手法の数学的保証が投機的検証の最大の特長である。修正棄却サンプリングにより、最終出力はターゲットモデルMpを直接使って自己回帰生成した場合と完全に同一の確率分布に従う。つまり、出力品質を一切犠牲にすることなく推論速度だけを改善できる。
修正棄却サンプリングの数学的基盤
投機的検証の理論的基盤は、古典的な棄却サンプリング（Rejection Sampling）を自己回帰生成に適応させた修正版アルゴリズムにある。Leviathan et al.（2023）の「Fast Inference from Transformers via Speculative Sampling」とChen et al.（2023）の「Accelerating Large Language Model Decoding with Speculative Sampling」がほぼ同時期に独立して提案した。
各候補トークン xiに対する採択確率は以下のように定義される。
| 記号 | 意味 |
|---|---|
| q(xi | x<i) | ドラフトモデルMqによるトークンxiの条件付き確率 |
| p(xi | x<i) | ターゲットモデルMpによるトークンxiの条件付き確率 |
| α | 採択確率: min(1, p(xi)/q(xi)) |
| γ | 投機長（speculation length）: ドラフトで生成する候補トークン数 |
採択・棄却の具体的なプロセスは以下の通りである。
- 一様乱数 r ~ U(0,1) を生成する
- r ≤ p(xi)/q(xi) ならばトークンxiを採択する
- r > p(xi)/q(xi) ならばトークンxiを棄却し、修正分布 norm(max(0, p(x) - q(x))) からリサンプリングする
- 棄却が発生した位置以降の全候補トークンを破棄する
この修正分布からのリサンプリングが鍵であり、棄却時に p(x) - q(x) の正の部分を正規化した分布からサンプリングすることで、最終的な出力分布がp(x)に一致することが証明されている。これにより、ドラフトモデルの品質が低い場合でも出力品質は劣化せず、速度向上の度合いが減少するだけとなる。
投機長と採択率の関係
投機的デコーディングの実効的な高速化率は、投機長γと平均採択率αの関数として決まる。1回の検証ステップで期待される採択トークン数E[accepted]は以下の式で近似できる。
| パラメータ | 典型値 | 影響 |
|---|---|---|
| 投機長 γ | 3〜8 | 長いほど1回あたりの潜在的利得が大きいが、棄却コストも増加 |
| 平均採択率 α | 0.6〜0.9 | ドラフトモデルとターゲットモデルの分布一致度に依存 |
| 期待採択数 | (1-α^(γ+1))/(1-α) | γとαの両方に依存する非線形関数 |
| 実効スピードアップ | 2〜5倍 | ドラフトモデルのレイテンシとバッチ処理オーバーヘッドも影響 |
投機長の選択はタスクとモデルペアに強く依存する。コード生成のように予測可能性が高いタスクでは長い投機長（γ=7〜8）が有効だが、創造的テキスト生成のようにエントロピーが高いタスクでは短い投機長（γ=3〜4）が効率的である。動的投機長調整（Dynamic Speculation Length）は、直近の採択率に基づいてγをリアルタイムで変更する手法であり、Hugging FaceのAssisted Generationなどに実装されている。
検証フェーズの計算効率
投機的検証が高速化を実現できる根本的な理由は、Transformerのフォワードパスにおけるバッチ処理効率にある。自己回帰生成では1トークンずつ処理するため、GPU演算ユニット（CUDA Core / Tensor Core）の稼働率が低い。一方、検証フェーズでは γ+1 トークンを同時に処理するため、行列演算のバッチサイズが増大し、GPU利用効率が飛躍的に向上する。
| 処理モード | バッチサイズ | GPU利用効率 | メモリ帯域制約 |
|---|---|---|---|
| 通常の自己回帰生成 | 1 | 5〜15% | 強い（帯域律速） |
| 投機的検証（γ=5） | 6 | 30〜60% | 緩和 |
| プリフィル（Prefill） | N（プロンプト長） | 80〜95% | 弱い（計算律速） |
KVキャッシュの管理も検証フェーズの重要な実装課題である。ドラフトトークンのKVキャッシュは暫定的に書き込まれ、棄却されたトークン以降のエントリはロールバックされる必要がある。vLLMのPagedAttentionアーキテクチャはこのロールバック処理を効率的に実装しており、投機的デコーディングとの相性が良い。
主要な投機的デコーディング手法
投機的検証のフレームワーク上に、さまざまなドラフト戦略と検証最適化が提案されている。
| 手法 | 発表年 | ドラフト方式 | 特徴 | 代表的スピードアップ |
|---|---|---|---|---|
| Speculative Sampling | 2023 | 独立ドラフトモデル | 理論的基盤、分布一致保証 | 2〜3倍 |
| SpecInfer | 2024 | ツリー型投機 | 複数候補をツリー構造で検証 | 2〜4倍 |
| Medusa | 2024 | マルチヘッド | ターゲットモデルにヘッド追加 | 2〜3倍 |
| EAGLE | 2024 | 特徴量レベル自己回帰 | 隠れ状態で次トークン特徴量を予測 | 2〜4倍 |
| Lookahead Decoding | 2024 | N-gramプール | Jacobi反復による並列デコーディング | 1.5〜2.5倍 |
| Sequoia | 2024 | 動的ツリー構造 | ハードウェア適応型ツリー最適化 | 3〜5倍 |
| Draft & Verify | 2023 | 層スキップ | ターゲットモデルの浅い層をドラフトに利用 | 1.5〜2倍 |
| Kangaroo | 2024 | アダプタベース | 小型アダプタを早期層に接続 | 2〜3倍 |
実装と主要フレームワーク
投機的デコーディング（および検証フェーズ）は以下の主要推論フレームワークに実装されている。
- vLLM:
--speculative-modelフラグでドラフトモデルを指定可能。PagedAttentionによるKVキャッシュ管理と自然に統合。Medusa / EAGLE ヘッドもサポート - TensorRT-LLM: NVIDIA公式推論エンジン。Draft-Target パイプラインを最適化グラフとしてコンパイルし、カーネルフュージョンで検証オーバーヘッドを最小化
- SGLang: RadixAttention上に投機的デコーディングを実装。プレフィックスキャッシュとの組み合わせでさらなる高速化を実現
- Hugging Face Transformers:
assistant_modelパラメータによるAssisted Generation。動的投機長調整をデフォルトで実装 - llama.cpp: GGUF量子化モデルでの投機的デコーディングをサポート。CPU推論でも効果あり
よくある質問（FAQ）
Q1: 投機的デコーディングは出力品質に影響しますか？
修正棄却サンプリングに基づく標準的な投機的デコーディングでは、出力分布がターゲットモデルの分布と数学的に同一であることが証明されており、出力品質への影響はゼロである。ただし、Medusa-1のように典型的採択（typical acceptance）を使用する近似手法では、わずかな分布の差異が生じる場合がある。厳密な分布一致が必要な場合は、標準的な棄却サンプリングベースの手法を選択すべきである。
Q2: 投機的デコーディングはバッチ推論でも効果がありますか？
バッチサイズが大きい場合、検証フェーズのフォワードパスがすでに計算律速（compute-bound）となるため、投機的デコーディングによる追加の高速化効果は小さくなる。一般に、バッチサイズ1〜4程度のオンライン推論で最大の効果を発揮し、バッチサイズ16以上では効果が減衰する。ただし、Sequoiaなどのハードウェア適応型手法はバッチ推論での効率も改善している。
Q3: ドラフトモデルとターゲットモデルのサイズ比はどの程度が最適ですか？
経験則として、ドラフトモデルはターゲットモデルの1/10〜1/5程度のパラメータ数が効率的とされる。例えば、Llama 2 70Bに対してLlama 2 7Bをドラフトモデルとして使用するケースが代表的である。ドラフトモデルが大きすぎると生成コスト自体が高くなり、小さすぎると採択率が低下してスピードアップが得られない。最適なサイズ比はタスクの特性、ハードウェア構成、およびレイテンシ要件に依存する。
Q4: 投機的デコーディングとKVキャッシュ圧縮は併用できますか？
併用可能であり、実際に相乗効果が期待できる。KVキャッシュ圧縮（量子化、eviction、共有）によりメモリ使用量が削減されると、より長いシーケンスや大きなバッチサイズでの投機的デコーディングが実現可能になる。vLLMではPagedAttentionとKVキャッシュ量子化が投機的デコーディングと同時に利用できる。