セマンティックキャッシュ（セマンティックキャッシュ）
意味的に類似したクエリに対して過去のLLM応答を再利用するアプリケーション層のキャッシュ技術。ベクトル埋め込みによる類似度検索で完全一致でなくても応答を返せるため、APIコスト削減と応答速度の大幅改善を実現する。
セマンティックキャッシュとは、LLMへのクエリを意味的に解析し、過去に処理した類似クエリの応答をキャッシュから返すことでAPI呼び出しを削減する技術である。従来の完全一致キャッシュと異なり、ベクトル埋め込み（Embedding）を用いた類似度検索により、表現が異なっても意味的に同等なクエリをキャッシュヒットとして扱える。
概要
LLMアプリケーションでは、エンドユーザーからのクエリに重複や類似パターンが多く含まれる。カスタマーサポートBotでは全クエリの20-40%が意味的に同一であるとの報告がある。セマンティックキャッシュはこの冗長性を活用し、LLM API呼び出しを最小化する。
処理フロー:
- ユーザークエリをEmbeddingモデルでベクトル化
- ベクトルDBで既存キャッシュエントリとの類似度を検索
- 類似度が閾値（通常cos類似度0.95以上）を超えるエントリがあればキャッシュ応答を返却
- 閾値未満の場合はLLM APIを呼び出し、結果をキャッシュに保存
2026年時点の主要実装は、GPTCache（オープンソース）、Redis Stack（商用）、LangChain Cache（フレームワーク統合）の3系統。
主要な実装比較
| 実装 | バックエンド | Embedding | 類似度検索 | ライセンス | 特徴 |
|---|---|---|---|---|---|
| GPTCache 0.1.44 | Redis/Milvus/Qdrant/Faiss | OpenAI/Hugging Face/Cohere | HNSW/IVF | MIT | 最も柔軟、プラグイン構成 |
| Redis Stack 7.4 | Redis | 内蔵/外部 | HNSW(RediSearch) | 商用/ソース公開 | エンタープライズ向け、TTL管理 |
| LangChain Cache | SQLite/Redis/Momento | 任意 | 完全一致/セマンティック | MIT | LangChain統合、プロトタイプ向け |
| Momento Cache | Momento Serverless | 任意 | セマンティック | 商用 | サーバーレス、運用負荷ゼロ |
| Portkey AI Gateway | 内蔵 | 内蔵 | セマンティック | 商用 | LLMゲートウェイ統合 |
導入効果と実測データ
コスト削減効果
- カスタマーサポートBot（月間10万クエリ、GPT-4o利用）: キャッシュヒット率35%で月間$4,200→$2,730（35%削減）
- FAQチャットBot（定型質問中心）: キャッシュヒット率60%で月間$8,000→$3,200（60%削減）
- 社内ナレッジ検索（RAG構成）: キャッシュヒット率25%で月間$15,000→$11,250（25%削減）
レイテンシ改善
キャッシュヒット時の応答速度はLLM API呼び出し比で10-100x改善:
- LLM API（GPT-4o）: 800-2000ms
- セマンティックキャッシュヒット（Redis）: 5-20ms
- セマンティックキャッシュヒット（Qdrant）: 10-30ms
設計上の注意点
類似度閾値の設定
閾値は品質と再利用率のトレードオフ:
- 0.98-1.00: ほぼ完全一致のみ。品質最優先だがヒット率低い（5-15%）
- 0.95-0.97: 推奨範囲。表現の揺れを吸収しつつ誤マッチ最小化（20-40%）
- 0.90-0.94: 積極的再利用。品質低下リスクあり、FAQ等の定型応答向け（40-60%）
- 0.90未満: 非推奨。意味的に異なるクエリへの誤応答リスク大
キャッシュ無効化（Invalidation）
LLMの知識やコンテキストが更新された場合のキャッシュ無効化戦略:
- TTL（Time-To-Live）: 一定時間経過後に自動削除（1時間-7日が一般的）
- バージョニング: モデルバージョンやシステムプロンプト変更時に全キャッシュクリア
- イベント駆動: RAGソースドキュメント更新時に関連キャッシュのみ無効化
Embeddingモデルの選択
キャッシュ品質はEmbeddingモデルの性能に直結:
- OpenAI text-embedding-3-small: 1536次元、$0.02/1Mトークン。コスパ最良
- Cohere embed-v3: 1024次元。多言語対応が強力
- BGE-M3: 1024次元、オープンソース。セルフホスト可能
- Qwen3-Embedding-8B: 4096次元、ローカル推論可能。日本語性能が高い
よくある質問（FAQ）
Q1: セマンティックキャッシュで誤った応答が返されるリスクは？ A: 類似度閾値を0.95以上に設定すれば実用上のリスクは低い。ただしドメイン固有の微妙なニュアンス差（例:「解約方法」と「退会方法」で手順が異なる場合）ではキャッシュに注意が必要。重要度の高い応答にはキャッシュバイパスフラグを設けることを推奨。
Q2: セマンティックキャッシュの運用コストはどのくらい？ A: Embedding計算（$0.02/1Mトークン @text-embedding-3-small）+ ベクトルDB運用（Redis Stack: 月$30-200、Qdrant Cloud: 月$25-150）。LLM APIコスト削減額が運用コストを上回るのは月間1,000クエリ程度から。
Q3: RAG構成でセマンティックキャッシュは使えますか？ A: 使えるが注意が必要。RAGのコンテキストドキュメントが変更された場合、同じクエリでも異なる応答が正解になる。対策としてRAGコンテキストのハッシュをキャッシュキーに含める方法が一般的。これにより同一クエリでもコンテキスト差分があればキャッシュミスとなる。
まとめ
- セマンティックキャッシュはLLM APIコスト20-60%削減の実績ある手法
- 類似度閾値0.95以上で品質と再利用率のバランスが最適
- GPTCache（OSS）、Redis Stack（商用）が主要実装
- RAG構成ではコンテキストハッシュをキャッシュキーに含めることが必須
- キャッシュヒット時のレイテンシは10-100x改善（5-30ms vs 800-2000ms）