AI・機械学習
上級
ICAE インコンテキストオートエンコーダ（アイシーエーイーインコンテキストオートエンコーダ）
長いコンテキストを少数のメモリスロット（memory slots）に圧縮するLLMベースのオートエンコーダ手法。Ge et al. 2024提案。圧縮・復元の両方向学習でコンテキスト長の問題を解決し、long-context推論を低コスト化する。
0 回閲覧
0 いいね
2026/6/6 更新
関連タグ
ICAE
コンテキスト圧縮
オートエンコーダ
メモリトークン
LoRA
long-context
ICAE インコンテキストオートエンコーダ
ICAE（In-Context Autoencoder for Context Compression）は、長いコンテキストを少数のメモリトークンに圧縮するLLMベースの手法。2024年にYao Fu, Ge et al.（エジンバラ大学）が発表。
従来のプロンプト圧縮との違い
| 手法 | 圧縮単位 | 情報保持 | 復元可能性 |
|---|---|---|---|
| LLMLingua-2 | トークン削除 | 中 | 部分的 |
| GIST | 特殊トークン蒸留 | 高（短文） | 高 |
| RECOMP | 要約生成 | 意味レベル | 低 |
| ICAE | メモリスロット | 高 | 高 |
アーキテクチャ
エンコーダ（LLM + LoRAアダプタ）
↓
入力: [context tokens] + [memory tokens × k]
↓ アテンション計算
出力: 圧縮されたメモリトークンのKV状態
デコーダ（ベースLLM）
↓
入力: [compressed memory KV] + [ユーザー質問]
↓
出力: 質問への回答
圧縮率と性能
論文ではLlama-2-7Bを使用したICAEで：
- 4倍圧縮: 元性能の95%以上維持
- 16倍圧縮: 元性能の85〜90%維持
- 32kトークンを8kトークンのメモリスロットに圧縮可能
プロンプトキャッシングとの関係
AnthropicやOpenAIが提供するプロンプトキャッシングは同じ入力のKVを再利用するAPI機能。ICAEは入力自体を圧縮するモデルレベルの手法で補完関係にある。
まとめ
ICAEは「LLMのコンテキスト圧縮を可逆性高く実現する」先端的アプローチ。LoRAでの効率的な学習と高い情報保持率が特徴。long-context問題の根本解決に向けた重要な研究方向。