Multi-Token Prediction（LLM訓練目標）（マルチトークンプレディクション）

Multi-Token Prediction（MTP）とは

Multi-Token Prediction（MTP）は、Meta FAIRのFabio Charton・Timothée Lacroixら（2024年4月、arXiv:2404.19737）が提案したLLMの訓練目標です。従来のNext Token Prediction（NTP）が次の1トークンだけを予測するのに対し、MTPは各位置で次のN個のトークンを同時に予測します。

従来手法との違い

Next Token Prediction（NTP）

入力: [A, B, C, D]
予測: B（1ステップ先のみ）
損失: Cross-Entropy(B_pred, B_true)

Multi-Token Prediction（MTP, N=4）

入力: [A, B, C, D]
予測: B, C, D, E（同時に4ステップ先まで）
損失: CE(B) + CE(C) + CE(D) + CE(E)

訓練上のメリット

勾配信号の増大: 各ステップで複数の損失が加算されるため、特に稀少トークンに対する勾配が安定する。

長距離依存の学習: 複数ステップ先を予測する必要があるため、モデルが長距離の文脈依存関係を学習しやすくなる。

表現品質の改善: 中間層の表現が単純なNext-Token予測より情報密度が高くなることがCosineSimilarity分析で示されている。

推論時のMTPヘッド活用

訓練後、MTPヘッドは投機的デコーディング（Speculative Decoding）のドラフトモデルとして再利用できます。

1. メインモデルが隠れ状態を計算
2. MTPヘッドが候補トークンをN個ドラフト生成
3. メインモデルが並列検証（accept/reject）
4. acceptされたトークンをまとめて出力

Meta論文では1.8倍の推論スループット改善を報告。外部ドラフトモデルが不要なため、モデルサイズ・分布のミスマッチ問題が発生しない。

採用モデル

• DeepSeek-V3（2024-12）: N=1のMTPを採用（次の1トークンをMTPヘッドで予測する補助損失）。訓練安定性の向上に貢献
• Llama 4（Meta, 2025-04）: MTP採用を公式発表。Scout/Maverick両モデルで推論高速化に活用
• Gemma 3（Google, 2025）: 公開情報では言及なし（未採用または非開示）

実装上の考慮点

• MTPヘッド数Nを増やすほど訓練コストが増加するが、N=4〜8で収益逓減が顕著
• 大規模モデル（70B+）ではN=1〜2でも十分な推論高速化が得られると報告
• 投機的デコーディング利用時は、ドラフト受理率がコンテキストの予測可能性に依存