CAG（Cache-Augmented Generation）（シーエージーキャッシュオーグメンテッドジェネレーション）
CAG（Cache-Augmented Generation）は、LLMの生成プロセスに外部または内部のキャッシュメモリを組み込む技術です。これにより、長い対話履歴や重要な情報を効率的に保持し、より一貫性があり、文脈に即した応答を実現します。
概要
CAG（Cache-Augmented Generation）とは、大規模言語モデル（LLM）が単なる入力テキストだけでなく、構造化された「記憶」や「コンテキストキャッシュ」を参照しながら出力を生成する手法の総称です。本質的に、これはLLMに短期的な作業メモリ以上の長期的な記憶能力を与える試みと言えます。
従来のLLMは、入力プロンプト全体を一度に処理するため、トークン数が増えるほど計算負荷が高まるだけでなく、モデルが初期の重要な情報を「忘却」してしまうという限界（コンテキストウィンドウの制約）があります。CAGはこの問題を解決し、必要な情報だけを効率的に抽出・注入することで、LLMの性能と信頼性を高めます。
この技術は、単なるRAG（Retrieval-Augmented Generation：検索拡張生成）を超えた概念であり、対話の流れやモデル内部の状態変化といった「時間軸に沿った記憶」を活用することに重点を置いています。
仕組みと特徴
CAGが実現するコアメカニズムは、「情報の抽出」「キャッシュ化」「適切なタイミングでの注入」の三段階からなります。具体的な実装レベルでは、以下のような形で機能します。
- キーバリュー（KV）キャッシュの活用: これは最も基本的な形式で、特にデコーダーベースのモデルにおいて、過去に計算されたアテンション機構のキー（K）とバリュー（V）を再利用することで、推論速度が大幅に向上します。これは主に効率化のための「短期記憶」ですが、CAGはこの概念を拡張し、「重要な対話ステップの結果」や「ユーザープロファイル」といった構造的な情報をキャッシュとして保持します。
- 外部メモリ層の導入: 対話履歴全体をそのまま渡すのではなく、セマンティック検索（意味的検索）を用いて関連性の高い情報のみをデータベースから取得し、これを専用のキャッシュ領域に格納します。例えば、「ユーザーが最初に述べた予算」や「特定の専門用語の定義」といったメタ情報を抽出し、それを構造化されたプロンプトの一部として組み込みます。
- 記憶のリフレクションと更新: CAGシステムは単なる読み取り（Read）だけでなく、生成プロセス自体を分析し、「このターンで新たに重要な情報が出たからキャッシュに書き込むべきだ」という判断（Write）を行います。これにより、モデルの自己修正能力や長期的な文脈理解が向上します。
特徴: 最大の特徴は「必要な情報をピンポイントで引き出し、プロンプト全体を膨張させずに効果的に利用できる点」です。これにより、計算資源の効率化と性能の両立を実現しています。
従来手法との比較
| 手法 | メモリの種類 | 情報保持の仕組み | 主な課題 | CAGによる改善点 |
|---|---|---|---|---|
| 標準的なプロンプティング | 短期（入力バッファ） | 全履歴をそのまま渡す | トークン制限、情報の希薄化、コスト増大 | 必要な情報のみを抽出・集約し、ノイズを除去する。 |
| RAG (検索拡張生成) | 長期（外部DB） | キーワードマッチングやベクトル検索による取得 | 文脈的な流れの考慮が難しい、単なる情報の羅列になりがち。 | 対話の流れやセッションの状態を理解し、情報を「文脈に沿って」組み立てて注入する。 |
| KVキャッシュ | 超短期（GPUメモリ） | 直前の計算結果の再利用 | 構造的な知識や長期記憶は扱えない。 | 単なる推論効率化に留まらず、対話セッション全体を跨ぐ「意味的・構造的」な記憶として活用する。 |
CAGは、これらの技術の利点を統合し、「計算効率（KVキャッシュ）」と「文脈理解（RAG）」に加え、「時間軸に沿った状態管理」というレイヤーを追加した高度な記憶機構であると言えます。
活用事例
- マルチターン対話システム（チャットボット）: ユーザーが数時間にわたって製品の問い合わせを行う際、初期の「予算」「用途」「好み」といった情報を失わずに保持し、一貫した提案を続けることができます。これは単なる履歴追跡ではなく、抽出された属性値を記憶として利用します。
- エージェントワークフロー自動化: 複数のステップを踏む複雑な業務（例：旅行手配、コードデバッグ）において、各ステップで得られた中間結果や制約条件をキャッシュし、次のステップのプロンプト生成時に確実に参照させることで、作業の中断や矛盾を防ぎます。
- パーソナライズされた学習システム: 学生が特定の概念（例：量子力学の基礎）について質問を重ねる際、過去に誤解した点や理解度の低い箇所を「記憶」として蓄積し、次の解説時に重点的に復習させることで、効果的な教育パスを提供します。
まとめ
CAGは、LLMが単なる統計的テキスト予測エンジンから、「文脈と記憶を持つ知性体（Intelligent Agent）」へと進化するための鍵となる技術です。この技術により、モデルの応答はより信頼性が高く、ユーザーやシステムの状態を深く理解した上で最適化されたものになります。
今後のAI開発において、CAGのような高度なメモリ管理機構は不可欠な要素であり、エージェントAIの実現に向けた最も重要な研究テーマの一つと位置づけられています。企業や開発者は、単に高性能なLLMを選ぶだけでなく、「いかに効率的かつ正確に記憶を管理するか」という視点を持つことが求められます。