トークンドロッピング（トークンドロッピング）

トークンドロッピング（Token Dropping）とは

LLMの学習・推論において全トークンを等しく処理するのではなく、重要度の低いトークンを選択的にスキップ（ドロップ）することでFLOPs（浮動小数点演算数）を削減し、スループットを向上させる手法の総称。Adaptive Computationの一形態。

問題背景

標準的なTransformerは入力の全トークンをすべてのレイヤーで処理する。しかし実際のテキストでは「は」「が」「の」などの機能語・助詞は情報密度が低く、前述の内容が繰り返されるトークンは新規情報を持たない。これらのトークンへの計算リソースを削減することで精度を維持しながらFLOPsを削減できる。

主要な実装アプローチ

1. Token Dropping（Google Brain、2022）

各レイヤーでアテンションスコアに基づき重要度の低いトークンを一時的に除外し、次のレイヤーでは復活させる。FLOPs削減率: 25〜50%（タスク・閾値依存）、精度低下: 0.5〜2%以内。

2. Mixture of Depths（MoD、Microsoft/DeepMind、2024）

ルーターネットワークがトークンごとに「このレイヤーを処理するか・スキップするか」を動的に決定。スキップされたトークンは残差接続でバイパスされる。重要なトークンは深く処理し、単純なトークンは浅く処理するという動的深度配分が実現。

トークン1は全レイヤーで処理。トークン2は一部レイヤーをスキップ。トークン3は多くのレイヤーをスキップして残差接続でバイパス。

3. Token Merging（ToMe、Meta、2023）

アテンションが似通っているトークンを結合（Merge）して総トークン数を削減。ViT（Vision Transformer）で実績が多く、LLMへの応用研究も進行中。

4. LayerSkip（Meta、2024）

Early Exitとスペキュラティブデコーディングを組み合わせ、トークンが早期レイヤーで確信度高く予測できる場合に残りのレイヤーをスキップ。FLOPs削減15〜30%、精度低下1%以内。

LLM事前学習での活用（2025年）

DeepSeek V3/R1系: MoE（Mixture of Experts）との組み合わせで、アクティブパラメータ数を削減。トークンドロッピングと本質的に同じ「選択的計算」思想を共有。

性能比較

Token Dropping（閾値50%）: FLOPs削減25〜40%、精度低下<1% PPL。MoD（25%スキップ）: FLOPs削減20〜25%、精度低下<0.5%。LayerSkip: FLOPs削減15〜30%、精度低下<1%。ToMe（r=16）: FLOPs削減30〜50%、精度低下1〜3%。

適用上の考慮点

学習・推論の一貫性: 学習時にドロッピングを適用しないと推論時との分布ギャップが生じる。シーケンス長との相関: 長いシーケンスほどドロッピング効果が大きい。タスク依存性: 要約・翻訳など全文理解タスクでは精度低下のリスクが高い。

まとめ

トークンドロッピングはTransformerの「全トークン均等処理」という暗黙の仮定を崩し、重要度に応じた計算資源の動的配分を実現する。FLOPs削減20〜50%を達成しながら精度低下を最小化できる有力な手法であり、MoD・LayerSkip・ToMeなど多様な実装が2023〜2025年に登場している。MoE（Mixture of Experts）と並ぶ「選択的計算」の重要アプローチとして、大規模LLMの効率化研究の中心に位置づけられる。