GISTトークン圧縮（ジストトークンアッシュク）

GISTトークン圧縮

GIST（Generating Implicit Semantic Tokens）は、LLMのプロンプトを極少数の「gist token」に蒸留することでコンテキスト使用量を削減する手法。2024年にJesse Mu et al.（MIT）が提案。

基本アイデア

繰り返し使うプロンプト（システムプロンプト・few-shotサンプル・RAGの指示文など）を少数の特殊トークン列（gist tokens）に「要約」し、KVキャッシュとして保存することで：

• 初回: 元プロンプト + gist tokensを処理してキャッシュ生成
• 以降: キャッシュ済みgist tokensのみ参照（元プロンプト不要）

仕組み

元プロンプト + [GIST_1][GIST_2]...[GIST_k] + ユーザー入力
                ↑アテンションマスクを操作↑
           元プロンプトを見ずにgist tokensから復元できるよう学習

圧縮効率

実用的なユースケース

1. チャットボット: 同一システムプロンプトを全ユーザーに適用→gist tokensでキャッシュ共有
2. RAG: 検索の指示プロンプトをgist化して高速化
3. コードアシスタント: コーディングガイドラインを圧縮保存

制約

• LLMのファインチューニングが必要（既存モデルに直接適用不可）
• 動的に変化するプロンプトには不向き
• gist tokens数はハイパーパラメータ調整が必要

まとめ

GISTトークン圧縮は「同じプロンプトを繰り返し使うシステム」で最大の効果を発揮する。大規模デプロイでのレイテンシ・コスト削減効果は顕著。