ワーキングメモリ（LLM）（ワーキングメモリ）

ワーキングメモリ（LLM）とは

ワーキングメモリ（LLM）は、LLMのコンテキストウィンドウ内で一時的に保持・操作される情報の総称です。認知心理学のワーキングメモリ（作業記憶）概念—現在処理中の情報を一時的に保持し操作する短期記憶システム—をLLMのアーキテクチャに対応させたものです。

コンテキストウィンドウとの関係

LLMのワーキングメモリの物理的な実体はコンテキストウィンドウです：

• GPT-4o: 最大128,000トークン
• Claude 3.5 Sonnet: 最大200,000トークン
• Gemini 1.5 Pro: 最大1,000,000トークン

この「窓」内に収まる情報のみがLLMの推論に直接利用されます。窓を超えた情報は忘却されるため、エピソード記憶や外部メモリによる補完が必要になります。

ワーキングメモリの内容

LLMエージェントのワーキングメモリには以下が含まれます：

1. システムプロンプト: エージェントの役割・制約・ツール定義
2. 会話履歴: ユーザーとアシスタントの対話ログ
3. 思考過程（CoT）: Chain-of-Thoughtによる中間推論ステップ
4. ReActサイクル: 思考（Thought）→ 行動（Action）→ 観察（Observation）の反復
5. ツール実行結果: Web検索・コード実行・API呼び出しの出力
6. 検索結果（RAG）: ベクトルDBから取得した関連ドキュメント

ワーキングメモリ管理戦略

要約・圧縮

古い会話履歴をLLMで要約してトークン数を削減。詳細は失われるが主要情報を保持。

スライディングウィンドウ

最新N件の対話のみを保持し古いものを削除。単純だが情報損失が発生。

重要度スコアリング

各情報の重要度を評価し、低重要度情報を優先的に圧縮・削除。

階層的メモリ

MemGPTのように重要情報をエピソード記憶（外部ストレージ）に移動し、ワーキングメモリを軽量に保つ。

パフォーマンスへの影響

ワーキングメモリが長くなると：

• 推論遅延増加: トークン処理数に比例して処理時間が伸長
• APIコスト増加: 入力トークン課金が累積
• Lost in the Middle問題: コンテキスト中間部の情報への注意が低下

実装における注意点

長いコンテキストでもLLMの注意は文頭・文末に集中しやすい（Lost in the Middle）ため、重要情報は先頭または末尾に配置するのが実践的なベストプラクティスです。