LLMの推論コストと応答遅延を削減するためのキャッシュ技術群。KVキャッシュ、セマンティックキャッシュ、プロンプトキャッシュ、プレフィックスキャッシュなど複数のレイヤーで最適化を行い、同一・類似クエリへの再計算を回避する仕組み。
LLMキャッシュ技術とは、大規模言語モデル（LLM）の推論処理においてコスト削減と応答速度向上を実現するための最適化技術群である。2025-2026年のLLM運用では、推論コストが総運用費の60-80%を占めるケースが一般的であり、キャッシュ技術の導入はROI改善の最重要施策となっている。
LLMキャッシュ技術は、モデル推論の各段階で再計算を回避するアプローチを総称する。Transformerアーキテクチャにおける自己注意機構の計算量はトークン数の二乗に比例するため、長文処理ほどキャッシュの恩恵が大きい。2026年時点で主流のキャッシュ技術は以下の4層に分類される。
これらは排他的ではなく、複数層を組み合わせることで最大90%以上のコスト削減が報告されている。
| 技術 | レイヤー | 削減対象 | 削減率 | 遅延改善 | 導入難度 |
|---|---|---|---|---|---|
| KVキャッシュ | ハードウェア | GPU計算量 | 30-60% | 2-5x | 自動（推論エンジン内蔵） |
| プレフィックスキャッシュ | 推論エンジン | 共通プレフィックス計算 | 40-70% | 3-8x | 中（エンジン設定） |
| プロンプトキャッシュ | API | APIコール料金 | 50-90% | 1.5-3x | 低（API設定のみ） |
| セマンティックキャッシュ | アプリケーション |
| API呼出し回数 |
| 20-80% |
| 10-100x |
| 高（ベクトルDB連携） |
実運用での削減効果（2025-2026年の公開事例）:
キャッシュ技術の選択は利用シナリオに依存する:
Q1: キャッシュを導入すると応答品質は劣化しますか？ A: プロンプトキャッシュとセマンティックキャッシュ（完全一致モード）では劣化しない。セマンティックキャッシュの類似度マッチングでは、閾値設定（通常cos類似度0.95以上）により品質と再利用率のトレードオフを調整する。KVキャッシュのFP8量子化では理論上微小な精度低下があるが、実用上は検出不能なレベル。
Q2: Anthropicのプロンプトキャッシュはどう使いますか？
A: APIリクエストのsystemメッセージにcache_control: {"type": "ephemeral"}を付与するだけで有効化される。キャッシュ対象は最小2,048トークン（Haiku）/1,024トークン（Sonnet/Opus）。初回リクエストで25%の書き込みプレミアムが発生し、以降5分間のキャッシュヒットで90%オフ。
Q3: セマンティックキャッシュとプロンプトキャッシュは併用できますか？ A: 併用可能で推奨される。セマンティックキャッシュでAPI呼び出し自体を削減し、キャッシュミス時にはプロンプトキャッシュで入力トークンコストを削減する二段構成が最もコスト効率が高い。
Q4: KVキャッシュのメモリ使用量はどのくらいですか？ A: Llama 3.1 70Bモデル（80層、64ヘッド、128次元）で128Kコンテキストの場合、FP16で約40GBのKVキャッシュメモリが必要。FP8量子化で約20GB、INT4量子化で約10GBに削減可能。バッチサイズ増加でリニアに増大するため、PagedAttentionによる動的メモリ管理が不可欠。