AI・機械学習
上級
xLSTMアーキテクチャ（エックスエルエスティーエムアーキテクチャ）
LSTMの発明者Sepp Hochreiterが2024年に発表した拡張LSTM。行列メモリ（mLSTM）とスカラーメモリ（sLSTM）の2ブロック、指数関数的ゲーティングを採用しGPT-3規模で競合するLLMを構築できる。
0 回閲覧
0 いいね
2026/6/8 更新
関連タグ
LSTM
RNN
mLSTM
sLSTM
Beyond Transformer
xLSTM とは
xLSTM（Extended LSTM）はLSTMの共同発明者Sepp Hochreiterらが2024年5月に発表した、LSTMの根本的拡張版。30年前のアーキテクチャが現代的な工学的改良で最前線LLMと競合できることを示した点で象徴的な研究。
従来LSTMの限界
| 問題 | 内容 |
|---|---|
| スカラーメモリ | セルstはスカラー→表現容量に限界 |
| 並列化困難 | 時間方向の依存性→GPU活用不足 |
| 記憶競合 | 1スカラーセルに全情報詰め込みで干渉 |
| 指数爆発 | 標準的ゲートでは勾配スケールが不安定 |
2つのブロック：mLSTMとsLSTM
mLSTM（matrix LSTM）
- メモリ行列: スカラーcellをd×dの行列Cに拡張→格段に高い表現容量
- 完全並列: Query/Key/Value（Attention類似）でメモリを読み書き→GEMMで並列化可能
- 指数関数的忘却: 忘却ゲートfを指数スケール（exp(ft)）で安定化
- 計算量：O(L)再帰処理だが行列サイズ分のメモリ消費
sLSTM（scalar LSTM）
- スカラーメモリ: 従来LSTMを改良、セル更新ルールを指数スケールゲートで安定化
- マルチヘッド: 複数ヘッドで並列状態保持
- 逐次処理: mLSTMより並列性は低いが、sLSTMを適切に配置することで長距離記憶を補完
xLSTMブロック構成
典型的なxLSTMネットワークはmLSTMブロックとsLSTMブロックを積層。比率は7:1程度（mLSTMメイン、sLSTMで記憶補完）が多い。各ブロックはLayer Normとresidual接続で安定化。
性能
| モデル | パラメータ | 比較対象 |
|---|---|---|
| xLSTM 7B | 7B | Llama 2 7B同等 |
| XLSTM-1B | 1B | Mamba-1B・TinyLlama競合 |
wikitext-103・Pile・SlimPajama等のベンチマークでLlama/Mamba同規模モデルと競合。特に長系列（4K〜32K token）での記憶保持タスクで優位。
推論効率
xLSTMの強みは推論時の一定サイズ状態。KVキャッシュなし・状態サイズがO(1)（d²の定数）のため、文脈長が伸びても推論メモリが増えない。組み込み・エッジデバイスでの長文処理に有利。
2025年の動向
- NX AIがxLSTMを商用採用・オントプレミス展開
- EU AI Actへの対応でオープンなネイティブEU開発LLMとして注目
- MambaやRWKVとのハイブリッド設計研究も進行中