Medusa デコーディング（メドゥーサデコーディング）

Medusa デコーディングとは

Medusa（メドゥーサ）は、LLMの自己回帰推論を高速化する投機的デコード手法で、2023年にカーネギーメロン大学のグループが発表した。通常のLLMは1トークンずつ逐次生成するが、Medusaはベースモデルに複数の追加デコードヘッドを付加し、1回のフォワードパスで複数の将来トークン候補を同時生成・検証する。

アーキテクチャ概要

Medusaヘッドの構造

MedusaヘッドはベースLLMの最終隠れ層出力を受け取り、k番目の将来位置のトークン候補を予測する独立したFFN（Feed-Forward Network）層として実装される。たとえば4つのMedusaヘッドを追加した場合、位置+1〜+4の候補トークンをそれぞれ生成できる。

ツリーアテンション（Tree Attention）では各ヘッドからtop-k候補を取得し、それらの組み合わせで候補ツリーを構築する。ツリー全体をバッチ処理でベースモデルに通し、各パスが元のLLM出力と一致するか検証する。一致した最長接頭辞をそのまま確定トークンとして採用するため、品質劣化なしで複数トークンを一括確定できる。

学習手法

Medusa-1（追加ヘッドのみ学習）

ベースモデルを完全に固定し、Medusaヘッドのみを学習する。既存のLLMに後付けしやすく、学習コストが低い。ただし、ベースモデルの隠れ状態がMedusaヘッドに最適化されていないため、受容率がMedusa-2より低くなる。

Medusa-2（全体ファインチューニング）

ベースモデルとMedusaヘッドを同時に学習する。ベースモデルの表現がMedusaヘッドの予測に適したものになり、受容率・速度向上率ともに改善する。Vicuna-7Bに適用した場合、スループットは2.8倍に向上する。

パフォーマンス

Vicuna-7B Medusa-1で約2.2倍、Medusa-2で約2.8倍の速度向上。Vicuna-13B Medusa-2で約2.4倍、Vicuna-33B Medusa-2で約2.3倍。速度向上はサービング環境（バッチサイズ・GPU型番・生成長）で大きく変わる。バッチサイズが大きいほど投機的手法の恩恵は減少する傾向がある。

ドラフトモデルとの違い

従来の投機的デコードでは別途小規模ドラフトモデルを用意し、そのモデルが仮説を生成してターゲットモデルが検証する。Medusaはこのドラフトモデルをベースモデルへの軽量ヘッドで代替するため、追加メモリ使用量が少なく展開・管理が単純で、ドラフトモデルとターゲットモデルの語彙不一致問題もない。

実装とエコシステム

論文とともにコードがGitHubで公開され（FasterDecoding/Medusa）、Hugging Face Transformersとの互換性も持つ。vLLM・SGLangなどの推論フレームワークにも統合が進んでいる。EAGLEなどの後継手法もMedusaのアイデアを拡張・改良している。

まとめ

Medusaは「ドラフトモデル不要」「品質無劣化」「2〜3倍の速度向上」を両立した実用的な投機的デコード手法であり、LLMサービングの高速化において重要な基盤技術となっている。