メモリ拡張トランスフォーマー（メモリカクチョウトランスフォーマー）

メモリ拡張トランスフォーマーとは

メモリ拡張トランスフォーマーは、標準トランスフォーマーのセルフアテンション機構に外部メモリモジュールを統合し、有効なコンテキスト長を大幅に拡張するアーキテクチャ設計です。モデルパラメータを増やすことなく長期依存関係を捕捉できる点が特徴で、RAGとは異なり推論パイプラインではなくモデルアーキテクチャレベルでの拡張です。

主要アーキテクチャ

Memorizing Transformers（Google, 2022）

標準トランスフォーマーの上位層にkNN外部メモリを追加。過去トークンのキー・バリューペアをメモリに蓄積し、現在のクエリと最近傍検索で参照。実装はモデル重みの変更が不要で既存モデルへの統合が容易。

動作メカニズム:

1. 処理済みトークンのKey-Valueペアを外部メモリに追加
2. 現在クエリでメモリからTop-kペアを検索
3. 通常のアテンションとkNNアテンションを組み合わせ

LONGMEM（Microsoft Research）

非連続・非隣接なメモリ検索を可能にし、関連する過去情報を文書内位置に関係なく参照。長文ドキュメントの理解と要約に効果的。

Unlimiformer

エンコーダ・デコーダモデルのクロスアテンション層を拡張し、任意長のエンコーダ出力をメモリとして参照可能にする手法。既存モデルへのプラグイン適用が特徴。

標準トランスフォーマーとの比較

長文対応LLMとの違い

Gemini 1.5 Pro（1Mトークン）のような長コンテキストモデルは、全入力をコンテキスト内に収める設計ですが：

• コスト: 長いほど処理コスト増大
• 速度: 二次的に遅化

メモリ拡張トランスフォーマーは選択的検索で関連情報のみ参照するため、長文を効率的に扱えます。

研究動向

2024〜2025年にかけて、メモリ拡張アーキテクチャはLLMエージェントの長期記憶基盤として注目が高まっています。特にRetentiveNetwork（RetNet）やMamba（SSMベース）との組み合わせによるハイブリッドアーキテクチャが活発に研究されています。