Jacobi反復法を応用して複数の将来トークン位置を並列に推定し、追加パラメータや追加学習なしで既存LLMの推論を1.5〜2.3倍高速化する並列デコーディング手法。
Lookahead Decodingは、UC San DiegoのFu et al.が2024年に発表した並列デコーディング手法である。Jacobi反復法（Jacobi iteration）を自己回帰言語モデルに応用し、将来の複数トークン位置を並列に推定する。最大の特徴は、追加パラメータや追加学習が一切不要であり、既存のどんなLLMにもそのまま適用できる点である。MedusaやEAGLEのようにモデル構造の変更が不要なため、導入障壁が極めて低い。
Lookahead Decodingの数理的基盤はJacobi反復法にある。従来の自己回帰デコーディングはGauss-Seidel法に相当し、前のトークンが確定してから次のトークンを生成する逐次的な処理を行う。一方、Jacobi反復法では全位置を同時に更新する。
処理フローは以下のとおりである。
| Lookahead Window (W) | n-gram サイズ (N) | 高速化倍率 | GPU メモリ増加 | 適用モデル |
|---|---|---|---|---|
| 5 | 3 | 1.5x | +10% | Llama 3 8B |
| 10 | 5 | 1.8x | +15% | Llama 3 70B |
| 15 |
| 7 |
| 2.0x |
| +20% |
| Mistral 7B |
| 20 | 10 | 2.3x | +25% | Llama 3.1 405B |
| 7 | 5 | 1.7x | +12% | CodeLlama 34B |
Wを大きくするほど高速化倍率は向上するが、GPU メモリ消費とフォワードパスあたりの計算量も増加する。実用的にはW=7〜15が最もバランスが良い。
| 比較軸 | Lookahead | Medusa | EAGLE | Speculative Dec. |
|---|---|---|---|---|
| 追加学習 | 不要 | 必要 | 必要 | 不要 |
| 追加パラメータ | なし | ヘッド追加 | ヘッド追加 | ドラフトモデル |
| 高速化倍率 | 1.5〜2.3x | 1.8〜2.8x | 2.5〜3.8x | 2.0〜3.5x |
| メモリ増加 | +10〜25% | +5〜10% | +3〜8% | +20〜40% |
| 導入の容易さ | 最も簡単 | 中程度 | 中程度 | 簡単 |
| モデル依存性 | なし | ヘッド要学習 | ヘッド要学習 | ドラフトモデル選定 |
Lookahead Decodingは高速化倍率では他手法に劣るが、「追加学習・追加パラメータ・モデル変更が一切不要」という唯一無二の利点を持つ。新しいモデルがリリースされた直後から利用できる即応性が最大の強みである。
Lookahead Decodingは以下の環境で利用できる。
pip install lookahead でインストール後、generate() の引数に lookahead_length=10, ngram_size=5 を指定するだけで有効化model.generate() を差し替え可能--speculative-method lookahead フラグが追加。ただし2026年6月時点ではベータ版扱い実運用では、n-gramキャッシュのウォームアップに最初の100〜500トークンが必要であり、短い応答（50トークン以下）では高速化効果が限定的になる点に注意が必要である。
Q1: Lookahead Decodingはどんなモデルにも使えますか？ A: Transformer ベースの自己回帰モデルであれば原理的にすべて適用可能。GPT-2/3/4、Llama、Mistral、Qwen、Gemma等で動作確認されている。ただし、APIのみ提供のモデル（Claude、GPT-4o API等）にはユーザー側から適用できない。
Q2: Lookahead Windowはいくつに設定すべきですか？ A: RTX 4090（24GB VRAM）でLlama 3 8Bを使う場合はW=10〜15が推奨。70B以上のモデルではVRAMに余裕がない場合W=5〜7に抑える。一般にWを2倍にしても高速化倍率は1.2〜1.3倍程度しか向上しないため、過大なWは非効率。
Q3: n-gramキャッシュのサイズ制限はありますか？ A: デフォルトでは最大100万エントリ。コード生成のように繰り返しパターンが多いタスクではキャッシュヒット率が40〜60%に達し、高速化効果が向上する。自然言語会話では10〜20%程度のヒット率にとどまる。