Look-Ahead デコーディング（ルックアヘッドデコーディング）
Jacobi反復法を応用したLLM並列デコード手法。n-gramプールをキャッシュとして利用し、追加モデルなしで将来のトークン列を並列生成・検証することで推論を高速化する。速度向上は1.5〜2倍程度。
Look-Ahead デコーディングとは
Look-Ahead Decoding（LAD）は、Metaが2023年に発表したLLM推論高速化手法。投機的デコードの一種だが、別途ドラフトモデルを用意せず、Jacobi反復法とn-gramキャッシュのみで並列生成を実現するのが特徴だ。
Jacobi反復法との関係
Jacobi反復法は連立方程式を並列に解くアルゴリズムで、各変数を前ステップの値で同時更新することで収束する。LLMのトークン生成に適用すると、初期推測トークン列を仮置きし、各位置を現在のLLMで並列評価（バッチ処理）し、評価結果に基づいて各位置を更新し、収束（元モデルの逐次出力と一致）するまで繰り返す。
理想的には数回の反復で逐次生成と同一の出力に収束し、反復回数÷並列幅分だけ速度向上する。
n-gramプールによる精度向上
Look-Ahead Decodingの核心は「n-gramプール（look-ahead window）」の活用だ。過去に生成されたトークンシーケンスをn-gramとしてキャッシュし、次のJacobi反復の初期推測として利用する。キャッシュが育つほど初期推測の精度が上がり、より多くのトークンが一度に確定する。
パラメータ
- Look-Ahead window W: 1ステップで並列生成するトークン数。Wが大きいほどバッチ処理効率が上がるが、GPUメモリ使用量も増加
- n-gram size n: キャッシュのグラム数。n=2（bigram）〜n=4（4-gram）が一般的
- verification beam size γ: 並列検証するn-gramの数
速度向上の実態
EAGLE（3〜4倍）やMedusa（2〜3倍）と比較すると、Look-Ahead Decodingの速度向上は1.5〜2倍程度に留まることが多い。Jacobi反復の収束が遅い・n-gramキャッシュのヒット率がドラフトモデルより低い・並列評価のオーバーヘッドが大きいタスクでは効果が薄れるためだ。
一方でドラフトモデルの学習・維持が不要なため、任意のLLMに即時適用できるメリットがある。
適用シナリオ
コード生成（繰り返しパターン多い）ではn-gramヒット率が高く特に効果的。ドキュメント生成では定型句でヒット。数学的推論では多様な出力でヒット率が低くなる。チャット（短文応答）では効果が限定的。
実装
公式実装（FasterDecoding/LookaheadDecoding）はHugging Face Transformersベースで動作し、LLaMA・Mistral・Falconなどで確認されている。追加学習不要のため、既存モデルへの後付けが最も容易な投機的デコード手法の一つ。
まとめ
Look-Ahead Decodingは「追加モデル不要・任意LLM対応」という手軽さが強みの並列デコード手法。速度向上幅はEAGLE/Medusaに劣るが、実装コストが最も低く、繰り返しパターンの多いコード・ドキュメント生成タスクで効果を発揮する。