Multi-Token Prediction（マルチトークンプレディクション）
LLMの事前学習時に1つの位置から複数の将来トークンを同時に予測するよう訓練することで、モデルの表現力を向上させると同時に、推論時に2〜4倍の高速化を実現する学習・推論統合型の並列デコーディング手法。
Multi-Token Predictionとは
Multi-Token Prediction（MTP）は、Meta AIのGloeckle et al.が2024年に発表した「Better & Faster Large Language Models via Multi-token Prediction」で提案された手法である。従来のLLMが次の1トークンのみを予測するのに対し、MTPは1つの位置から将来のN個のトークンを同時に予測するようモデルを訓練する。この設計により、事前学習の段階からモデルが長期的な計画能力を獲得し、推論時にはN個の出力ヘッドを活用して並列デコーディングが可能になる。
MTPの仕組み
MTPの学習アーキテクチャは以下の構成を取る。
- 共有Transformer Backbone: 入力トークン列をエンコードする標準的なTransformerモデル。GPT/Llama等の既存アーキテクチャをそのまま使用
- N個の独立出力ヘッド: 各ヘッドは1〜Nトークン先を予測する独立した言語モデルヘッド（Linear + Softmax）。ヘッド間でBackboneの重みを共有
- 学習目標: N個の予測すべてに対するクロスエントロピー損失の平均を最小化。各ヘッドの損失に重み付けは行わず均等に扱う
- 推論時: N個のヘッドが同時にトークンを出力し、Speculative Decodingと同様の検証ステップで正しいトークン列を受理
学習効率への影響
MTPの最も注目すべき成果は、同一の計算予算（FLOPs）でNext-Token Prediction（NTP）より高い品質を達成する点である。
| モデルサイズ | 学習方式 | HellaSwag | MMLU | HumanEval | 学習FLOPs |
|---|---|---|---|---|---|
| 7B | NTP (baseline) | 78.2% | 45.3% | 28.0% | 1.0x |
| 7B | MTP (N=4) | 80.1% | 47.8% | 34.2% | 1.0x（同一） |
| 13B | NTP (baseline) | 82.4% | 52.1% | 35.4% | 1.0x |
| 13B | MTP (N=4) | 83.9% | 54.6% | 41.5% | 1.0x（同一） |
| 34B | NTP (baseline) | 85.7% | 60.2% | 42.8% | 1.0x |
| 34B | MTP (N=4) | 87.0% | 62.4% | 49.1% | 1.0x（同一） |
同一FLOPsでHumanEval（コード生成）が+6〜7%ポイント、MMLU（汎用知識）が+2〜3%ポイント向上している。特にコード生成タスクでの改善が顕著であり、MTPがコードのような構造的な長期依存関係の学習に効果的であることを示している。
推論高速化の仕組み
MTPで事前学習されたモデルは、N個の出力ヘッドを推論時に並列デコーディングに転用できる。
- Self-Speculative Decoding: N個のヘッドがドラフト役を兼ね、Backbone自身がVerifier（検証者）となる。外部ドラフトモデルが不要で、追加メモリコストはN個のヘッド分（約10〜20%）のみ
- 高速化倍率: N=4のモデルで平均2.0〜3.5倍の高速化。コード生成では受理率が高く3.5倍、自然言語会話では2.0倍程度
- 品質保証: 検証ステップにより出力品質はNTPモデルと同等以上（MTP学習自体が品質を向上させるため、むしろ高品質になるケースが多い）
商用モデルでのMTP採用
2026年時点で、MTPは以下の主要モデルで採用または採用予定とされている。
| モデル/組織 | MTP採用状況 | Nの値 | 備考 |
|---|---|---|---|
| DeepSeek V3/R1 | 採用済み | N=1（auxiliary） | MTPをauxiliary lossとして使用、推論時は通常NTP |
| Meta Llama 4 | 採用済み | N=4 | 事前学習からMTP組み込み、並列推論ネイティブ対応 |
| Qwen 3 | 未採用 | - | NTP + Speculative Decodingを採用 |
| Mistral Large 2 | 部分採用 | N=2 | 一部チェックポイントで実験的に適用 |
Speculative Decodingとの関係
MTPはSpeculative Decodingの「自己完結型」バリアントと捉えることができる。
| 比較軸 | MTP (Self-Speculative) | Standard Speculative |
|---|---|---|
| ドラフト生成 | 自身のN個のヘッド | 外部小型モデル |
| 追加メモリ | +10〜20% | +20〜40% |
| 追加学習 | 事前学習時に組み込み | 不要 |
| 既存モデル適用 | 不可（再学習必要） | 可能 |
| 品質 | NTPより高い（MTP効果） | NTPと同一（ロスレス） |
| 高速化倍率 | 2.0〜3.5x | 2.0〜3.5x |
MTPの最大の制約は既存モデルに後付けできない点である。事前学習の段階からN個のヘッドを組み込む必要があるため、既にリリースされたモデル（Llama 3.x等）には適用できない。この点で、Medusa/EAGLEやSpeculative Decodingとは相互補完的な関係にある。
よくある質問（FAQ）
Q1: MTPのNは何に設定すべきですか？ A: Meta AIの実験ではN=4が品質・効率のバランスが最も良い。N=2でも十分な品質向上が得られるが、N=8以上では追加ヘッドの計算コストが品質向上を上回る。コード生成特化ならN=4〜6、汎用ならN=4が推奨。
Q2: MTPで事前学習されたモデルは通常のNTPとしても使えますか？ A: 使える。推論時に最初のヘッド（next-token head）のみを使えば、通常のNTPモデルと同様に動作する。MTP学習自体がモデルの表現力を向上させるため、NTPモードでも品質はベースラインを上回る。
Q3: MTPの学習コストはどの程度増加しますか？ A: 学習時のFLOPsはN個のヘッドの追加分として5〜15%増加する。ただし、同一品質を達成するために必要なトークン数がMTPでは10〜20%少なくて済むため、総学習コストは概ね同等またはやや低い。
Q4: MTPモデルに後からMedusa/EAGLEを追加できますか？ A: 可能。MTPのN個のヘッドに加えてMedusa/EAGLEヘッドを追加学習することで、さらなる高速化が期待できる。ただし、MTP自体が十分な並列デコーディング能力を持つため、追加効果は限定的（+10〜20%程度）である。
まとめ
- Multi-Token Predictionは事前学習時にN個の将来トークンを同時に予測する学習手法
- 同一FLOPsでNTPより高品質なモデルを学習可能（コード生成で+6〜7%pt向上）
- 推論時にはN個のヘッドで自己投機的デコーディングを実現し、2〜3.5倍高速化
- Meta Llama 4・DeepSeek V3等の最新モデルで採用が進行
- 既存モデルへの後付けは不可能で、事前学習からの組み込みが必要