プレフィックスキャッシング（プレフィックスキャッシング）

プレフィックスキャッシングとは

プレフィックスキャッシング（Prefix Caching）は、LLM の推論において、複数のリクエストで共通するプレフィックスの KV キャッシュを再利用することでコストと遅延を削減する最適化技術です。

RAG や長いシステムプロンプトを使う LLM アプリケーションでは、毎回のリクエストで同じ文書やプロンプトを先頭に付けます。プレフィックスキャッシングを使えば、最初のリクエストで System プロンプトを計算して KV キャッシュを保存し、2 回目以降はキャッシュをロードして即座に続きを計算できます。

API 別の対応状況（2025 年現在）

Anthropic API での使い方

import anthropic

client = anthropic.Anthropic()
response = client.messages.create(
    model="claude-opus-4-7",
    max_tokens=1024,
    system=[
        {"type": "text", "text": "あなたはプロのコードレビュアーです..."},
        {
            "type": "text",
            "text": "<coding_standards>" + very_long_standards_doc + "</coding_standards>",
            "cache_control": {"type": "ephemeral"},
        }
    ],
    messages=[{"role": "user", "content": "このコードをレビューしてください"}]
)

print(response.usage)
# cache_creation_input_tokens: 5000  # 初回のみキャッシュ作成
# cache_read_input_tokens: 5000      # 2 回目以降はここがカウント

コスト削減効果の試算

ユースケース: RAG チャットボット（システムプロンプト 2,000 トークン + 検索ドキュメント 5,000 トークン + ユーザー質問 50 トークン × 月間 100,000 回）

キャッシュなし: 7,050 × 100,000 = 705,000,000 トークン → コスト $2,115/月

プレフィックスキャッシング使用（ヒット率 95%）: 新規 35M トークン + キャッシュ読込 66.5M トークン → 約 $125/月（94% 削減）

よくある質問（FAQ）

Q1: キャッシュされたトークンは他のユーザーのリクエストに漏洩しませんか？ A: プロバイダは API キー単位でキャッシュを分離しています。他のユーザーのキャッシュが混入することはありません。

Q2: プレフィックスキャッシングはどんな場合に効果がないですか？ A: プレフィックスが毎回変わる場合はキャッシュミスになります。固定部分を先頭に、可変部分を後に置くプロンプト設計が重要です。

Q3: OpenAI の Prompt Caching と Anthropic の Prompt Caching の違いは？ A: OpenAI は自動適用で制御不可、Anthropic は cache_control で明示的に制御可能です。割引率は OpenAI 50%、Anthropic 90%（キャッシュ読込は通常価格の 10%）です。

まとめ

• 共通プレフィックスの KV キャッシュを再利用して TTFT を最大 90% 削減、API コストを最大 94% 削減
• Anthropic・OpenAI・Google Gemini が 2024 年に対応、vLLM・SGLang も OSS で標準搭載
• RAG・長いシステムプロンプト・ドキュメント解析など、同一コンテキストを多用するユースケースで最大効果