AI・機械学習
中級
プロンプトキャッシング（LLM）（プロンプトキャッシング）
LLM APIで同一プレフィックスのKVキャッシュをサーバー側に保持し再利用するコスト削減技術。Anthropic・OpenAI・Google提供。
0 回閲覧
0 いいね
2026/6/6 更新
関連タグ
LLM
推論最適化
コスト削減
KVキャッシュ
Claude
GPT-4o
プロンプトキャッシング（LLM）とは
プロンプトキャッシングとは、LLM APIにおいて同一のプレフィックス（システムプロンプト・長文ドキュメント等）を繰り返し送信する際、初回処理で生成したKey-Valueキャッシュをサーバー側に保持して再利用するコスト削減・高速化技術。
主要プロバイダーの対応状況（2025年）
Anthropic Claude:
cache_control: {"type": "ephemeral"}マーカーをメッセージに付与することでキャッシュを有効化。最小1,024トークンから対応。キャッシュヒット時はinputコストの約10%で処理可能。
OpenAI GPT-4o: Prompt Cachingを自動適用（opt-outも可能）。1,024トークン以上の共通プレフィックスを検出してキャッシュ。キャッシュヒット時はinputコストの50%引き。
Google Gemini 1.5 Pro/Flash: Context Cachingとして提供。最小32,768トークン。長文ドキュメント・動画等の大規模コンテキストで特に効果的。
コスト・レイテンシ削減効果
| プロバイダー | コスト削減率 | レイテンシ削減率 |
|---|---|---|
| Anthropic | 最大90% | 最大50% |
| OpenAI | 最大50% | 20〜40% |
| 最大75% | 30〜60% |
ユースケース
RAGシステム: 大規模コンテキストドキュメントをキャッシュし、質問のみ毎回送信。
コーディングアシスタント: 大規模コードベースをキャッシュしてコード生成コストを削減。
チャットボット: 長いシステムプロンプトをキャッシュして会話コストを最小化。
実装上の注意点
- キャッシュはサーバー側TTL（通常5〜60分）で自動失効する
- プレフィックスが変更されるとキャッシュが無効化される
- キャッシュヒット率を最大化するためにプロンプト先頭に静的コンテンツを配置する設計が重要
- マルチターン会話ではシステムプロンプトをキャッシュし、会話履歴は追記する設計が最効率
関連技術との比較
| 技術 | 削減対象 | 実装場所 |
|---|---|---|
| プロンプトキャッシング | 同一プレフィックスの再処理コスト | サーバー側 |
| プロンプト圧縮 | 入力トークン数 | クライアント側 |
| KVキャッシュオフロード | GPUメモリ使用量 | 推論エンジン内 |