Titans（ニューラル長期記憶LLM）（タイタンズ）
Googleが2025年に発表したTransformerの拡張アーキテクチャ。テスト時にニューラル長期記憶モジュールを動的更新し、2Mトークン超のコンテキストをO(n)以下で処理できる。
Titans（ニューラル長期記憶LLM）とは
Titansは2025年1月にGoogleが発表した論文「Titans: Learning to Memorize at Test Time」で提案されたアーキテクチャだ。Transformerが抱える長コンテキスト時のメモリ・計算コスト問題を、テスト時動的更新可能なニューラル長期記憶で解決しようとする試みである。
3つのバリアント
Titansは記憶モジュールをTransformerに組み込む方法によって3種類のバリアントを持つ。
MAC（Memory as Context）
長期記憶から取得した情報をコンテキストとしてAttentionに追加する最もシンプルな形態。既存のAttentionメカニズムをほぼそのまま維持しながら長期情報を参照できる。
MAG（Memory as Gate）
Attentionの出力と長期記憶モジュールの出力をゲート機構で融合する。どちらの情報をどれだけ使うかを動的に制御し、短期・長期情報のバランスをとる。
MAL（Memory as Layer）
長期記憶モジュールをTransformerの層として直接挿入する形態。記憶へのアクセスが最も直接的で、深い記憶統合が可能。
Surprise-Based Memory Update
Titansの核心は驚き度（surprise）に基づく選択的記憶更新だ。新しいトークンが現在の記憶から「予測しにくい」ほど高いsurpriseスコアが付与され、記憶が強く更新される。これにより：
- 平凡な繰り返し情報は記憶に残りにくい
- 重要な新情報・例外的パターンが優先的に保持される
- 限られた記憶容量を効率的に活用できる
この機構はあたかも人間の記憶が「意外な出来事を強く覚える」性質に似ており、生物学的な認知モデルからインスパイアされている。
性能と特徴
ベンチマーク結果では：
- 2Mトークン超のコンテキストでTransformerを上回る性能
- MQAR（Multi-Query Associative Recall）タスクで高精度
- 長文書理解・コード補完・マルチドキュメントQAで有効
計算複雑性はAttentionのO(n²)に対し、TitansはO(n)未満に抑えられる設計となっている。
Transformerとの違い
| 項目 | Transformer | Titans |
|---|---|---|
| コンテキスト上限 | ~128K実用的 | 2M+ |
| 記憶更新 | 推論時固定 | テスト時動的更新 |
| 計算コスト | O(n²) | O(n)未満 |
| 記憶選択性 | 全コンテキスト均等 | surprise度ベース |
実装と利用
2025年時点でGoogleによる論文実装がGitHubで公開されており、JAX/PyTorchベースの参照実装が存在する。商用展開はまだ限定的だが、長コンテキスト推論が必要なアプリケーション（法律文書分析・長編コード生成・学術論文要約）での応用が期待されている。
まとめ
TitansはTransformerに「学習し続ける記憶」を組み込むことで、長コンテキスト処理の根本的なボトルネックを解消しようとするアーキテクチャだ。RWKV-7やMamba-2と同様に「脱Attention」の潮流を代表する研究であり、2025年以降のLLMアーキテクチャ設計に大きな影響を与えることが予想される。