マルチトークン予測（マルチトークンヨソク）

マルチトークン予測とは

マルチトークン予測（Multi-Token Prediction, MTP）は、LLMが1回のフォワードパスで複数の将来トークンを同時に予測する手法で、Meta AIが2024年に発表した（論文: "Better & Faster Large Language Models via Multi-token Prediction"）。従来のLLMは「次の1トークン（next-token prediction）」のみを学習目標とするが、MTPは「次のn個のトークン」を同時予測する追加ヘッドを設けることで、訓練・推論の両面で恩恵を得る。

訓練時のメリット

長距離依存関係の強化学習

通常の次トークン予測では、モデルは直近の文脈に偏った局所的な最適化が起きやすい。MTPでは位置+2、+3、+4のトークンも同時に予測させることで、より長い文脈の依存関係を明示的に学習させられる。

通常の損失: Loss = -log P(x_{t+1} | x_{1:t}) MTPの損失: Loss = Σ_{k=1}^{n} λ_k × (-log P(x_{t+k} | x_{1:t}))（λ_k は各予測距離の重み）

コード生成への効果

Meta AIの実験では、コード生成タスクで特に効果が顕著だった。プログラムには繰り返しパターン・インデント・対応する括弧など、数トークン先を見越した生成が品質を左右するケースが多い。HumanEvalベンチマークで約5%の精度向上が報告されている。

推論時の活用（投機的デコード）

MTPヘッドで生成した複数トークン候補は、そのままMedusaやEAGLEと同様の投機的デコードに使える。MTPヘッドがn個の候補トークンを並列生成し、ベースモデルがそのトークン列を並列検証（1バッチ）し、受容されたトークンを確定して以降を再生成する。

訓練時からMTPを学習しているため、Medusa-2（全体ファインチューニング）と同様に、ベースモデルの表現がMTPに最適化されており受容率が高い。

DeepSeek-V3での採用

DeepSeek-V3（2024年12月）はMTPを採用した代表的な大規模モデルだ。各Transformerブロックの後にMTPモジュールを追加し、n=1の追加予測ヘッドを訓練損失に組み込んだ。訓練データ効率の向上（同一トークン数でより多くの学習シグナル）、推論時に2トークン/ステップの投機的生成が可能、全体的なスループット向上を実現した。DeepSeek-V3は671BパラメータのMoEモデルでGPT-4oに匹敵する性能を達成し、MTPが大規模モデルの効率的な訓練に実用的であることを示した。

アーキテクチャ概要

Transformer本体の最終隠れ状態h_tを受け取り、MTPヘッド（n-1個）が各将来位置のトークンを予測する。各ヘッドは軽量FFN（共有重みオプションあり）で実装され、パラメータ数はベースモデルの1〜5%程度、メモリオーバーヘッドは最小限。

関連手法との比較

Medusaはヘッド追加学習で2〜3倍の速度向上、実装複雑さは中程度。EAGLEはドラフトモデル追加学習で3〜4倍、実装複雑さは中程度。MTPは訓練から組込みで1.5〜3倍、設計段階で組込むため実装は低複雑さ。ドラフトモデル法は別途学習で2〜4倍だが、モデル2つ管理で実装が高複雑さ。

まとめ

マルチトークン予測は「訓練品質向上」と「推論高速化」を同時に狙える、設計段階からLLMに組み込む手法だ。DeepSeek-V3の採用で実用性が証明され、今後の大規模LLM設計において標準的なコンポーネントになりつつある。既存モデルへの後付けより、新規モデル設計時に検討すべき手法と言える。