Speculative Decoding (LLM推論加速・2022-)（スペキュラティブデコーディング）
LLMの推論速度を向上させる技術。軽量なDraft Modelが複数のトークンを先行予測し、巨大なTarget Modelが一括で検証・修正することで、計算効率とスループットを劇的に高める手法。
概要
LLM（大規模言語モデル）の推論プロセスは、1トークンずつ順番に生成する「自己回帰的」な性質を持つため、計算能力（FLOPS）よりもメモリ帯域幅（Memory Bandwidth）がボトルネックとなる「Memory-bound」な課題を抱えています。Speculative Decodingは、この逐次処理の待ち時間を「予測と検証」という並列プロセスに置き換えることで解決を図ります。
基本メカニズムは以下のステップで構成されます：
- Drafting Phase: 軽量なDraft Model（例: Llama 3.2 1B）が、数トークン先までの生成を高速に行う。
- Verification Phase: 高精度なTarget Model（例: Llama 3.1 405B）が、Draftされたトークン列を一括で入力し、各トークンの妥当性を並列計算する。
- Acceptance/Rejection: Target Modelの出力（Logits）に基づき、予測が正しい場合はそのまま採用し、誤っている場合はその地点で打ち切って修正を行う。
このプロセスにより、Target Modelの計算リソースを「1トークンずつの逐次処理」ではなく「複数トークンの同時検証」に割り当てることが可能になり、スループットの大幅な向上が実現します。
推論加速構成要素
| 要素 | 役割 | 特徴 |
|---|---|---|
| Draft Model | トークンの先行予測 | 低パラメータ・低遅延。Targetとの知識差が少ないほど効率的。 |
| Target Model | 予測の検証と正解生成 | 本来の目的とする高精度モデル。計算コストが高い。 |
| undercut | ||
| Verification Logic | 検証アルゴリズム | Rejection Sampling等を用い、統計的な正確性を担保する。 |
| KV Cache Management | メモリ最適化 | 予測・検証の両モデルにおけるキャッシュの効率的共有。 |
加速手法の比較表
| 手法 | Draft Modelの要否 | 特徴・メカニズム | 推論加速の期待値 |
|---|---|---|---|
| Speculative Decoding | 必要 | 外部の軽量モデルを使用。実装が直感的だが、モデル管理コストがある。 | 1.5x - 3x |
| Lookahead Decoding | 不要 | 自己回帰的な履歴から将来トークンを予測。追加モデル不要。 | 1.2x - 1.5x |
| Medusa / Eagle | 不要（Headのみ） | Target Modelに複数の予測用Headを追加。適応的（Adaptive）な検証が可能。 | 3x - 5x |
| Hybrid (Modern Stack) | 状況による | Speculative + MoE + FlashAttention 3 の統合アプローチ。 | 10x+ |
関連用語との違い
Beam Search との違い
Beam Searchは「より確率の高い系列」を探すために複数のパスを保持する探索手法であり、計算コスト（Compute）を増大させます。対してSpeculative Decodingは、計算の「並列性」を利用してスループットを上げる技術であり、モデルの精度（Accuracy）を損なうことなく高速化することを目指します。
KV Cache との違い
KV Cacheは過去のトークンのKey/Valueベクトルを保存し、再計算を防ぐ「メモリ節約・計算削減」技術です。Speculative Decodingは、このKV Cacheを活用しながら、いかに「次のトークン決定までの待ち時間」を減らすかという「時間短縮」に焦れる技術です。
FlashAttention との違い
FlashAttentionは、GPUのSRAMを活用してメモリ読み書き（IO）を最適化する「カーネルレベル」の高速化技術です。Speculative Decodingは、モデルの推論アルゴリズムそのものを変更する「アーキテクチャ・レベル」の高速化技術であり、これらは相互に補完関係にあります。
FAQ Q1-Q3
Q1: Speculative Decodingを使用すると、生成される回答の精度が低下しませんか？ A1: いいえ、低下しません。検証プロセスにおいてTarget Modelが自身のLogits（確率分布）を用いて妥当性を判定するため、最終的な出力の統計的性質はTarget Model単体で生成した場合と数学的に一致するように設計されています。
Q2: Draft Modelを大きくしすぎると、逆に遅くなることはありますか？ A2: はい、その可能性は高いです。Draft Modelが大きくなると、予測（Drafting）自体の計算コストが増大します。Draft Modelの役割は「低コストでそれなりの正解を出すこと」であるため、Target Modelとのパラメータ差が十分に大きく、かつメモリ帯域を圧迫しないサイズを選択することが重要です。
Q3: 2025年以降のLLM推論における最新トレンドは何ですか？ A3: 「Speculative + MoE (Mixture of Experts) + FlashAttention 3」の三層構造による極限の加速が主流となっています。MoEによる計算量の削減、FlashAttention 3によるIO最適化、そしてSpeculative Decodingによる並列検証を組み合わせることで、従来の数倍から十数倍のスループットを実現するインフラ（vLLM, SGLang等）への統合が進んでいます。