xLSTM (Sepp Hochreiter 2024)（エックスエルエスティーエム2024）
Sepp Hochreiter 2024年5月発表 LSTM 拡張版。Exponential Gating + Matrix Memory・Mamba 対抗・LSTM 復興
概要
xLSTM (Extended Long Short-Term Memory) は 2024年5月7日に LSTM 発明者 Sepp Hochreiter (オーストリア Linz Institute of Technology、Johannes Kepler University Linz 教授) ら 6名が arXiv:2405.04517 で発表した LSTM 拡張版言語モデル（論文「xLSTM: Extended Long Short-Term Memory」）。Exponential Gating + Matrix Memory で従来 LSTM (1997年 Sepp Hochreiter+Jürgen Schmidhuber 発明) の制限を克服・Mamba 対抗・「LSTM 復興」として 2024 年 AI 研究界に衝撃。
Sepp Hochreiter は 1991 年に「Vanishing Gradient 問題」を発見し、1997 年に LSTM (Long Short-Term Memory) を Jürgen Schmidhuber と共同発明、深層学習 RNN 系統の祖。LSTM は 1990 年代から 2010 年代まで自然言語処理の主流アーキテクチャだったが、2017 年 Transformer (Attention Is All You Need) 登場で完全に駆逐された。Hochreiter は 30 年後の 2024 年、LSTM 拡張で Transformer + Mamba に対抗する xLSTM を発表、「LSTM 発明者による LSTM 復興」として大きな話題に。
革新は (1) Exponential Gating: 従来 LSTM の sigmoid gate を exponential gate に置換、長文対応能力向上 (2) Matrix Memory: スカラー hidden state を行列に拡張、表現力大幅向上 (3) sLSTM + mLSTM : Scalar LSTM (順次計算) と Matrix LSTM (並列計算) の 2 系統 (4) 並列化対応: 従来 LSTM の致命的弱点 (順次計算) を mLSTM で並列化 (5) 「Hochreiter による Transformer/Mamba 対抗」: AI 研究界の世代対立シンボル。
性能は同サイズ LLM (Llama 7B・Mamba 7B・RWKV 7B) と互角、特に Associative Recall・Multi-Query Associative Recall (MQAR) 等の記憶系タスクで Transformer・Mamba 凌駕。NXAI (Hochreiter 創業、2023年・Linz) でスタートアップ商業化、欧州発 OSS LLM の代表として注目。
主な特徴・仕組み
- アーキテクチャ: Extended LSTM (Exponential Gating + Matrix Memory)
- sLSTM: Scalar LSTM、順次計算、より柔軟な記憶
- mLSTM: Matrix LSTM、並列計算、Transformer 級スケーリング可
- Exponential Gating: sigmoid gate を exp 化、長文性能向上
- Matrix Memory: hidden state を行列化、表現力向上
- 派生モデル: xLSTM-7B (NXAI 2024-10)・xLSTM-1.4B
- MMLU: 60.7% (xLSTM-7B、Llama 3 8B 66.6% に劣)
- Associative Recall: Mamba・Transformer 凌駕
- 学習データ: 2.3T トークン (英語)
- ライセンス: Apache 2.0 (NXAI 公開分)
- OS バージョン: xLSTM (2024-05-07)・xLSTM-7B (NXAI 2024-10)
スペック比較表
| 項目 | xLSTM (2024) | Mamba | RWKV | Liquid Foundation | Transformer |
|---|---|---|---|---|---|
| 系統 | LSTM 拡張 | SSM | RNN | Liquid NN | Attention |
| 計算量 | O(N) | O(N) | O(N) | O(N) | O(N²) |
| 並列化 | mLSTM のみ | あり | あり | あり | あり |
| 発明者 | Hochreiter | Gu & Dao | Bo Peng | Liquid AI | Vaswani et al |
| 学術評価 | NeurIPS 2024 | ICML 2024 | ICLR 2024 | 商業発表 | NeurIPS 2017 |
| 商業展開 | NXAI (欧州) | 研究 + 一部商用 | RWKV.cn | Liquid AI | 業界全般 |
具体例・対応製品
- NX-AI/xLSTM-7b (HuggingFace 2024-10): NXAI 公式 7B 版
- NX-AI/xLSTM-1.4b: 1.4B 軽量版
- xlstm Python ライブラリ: 公式実装、Linz Institute 公開
- NXAI Cloud: 欧州発スタートアップ商業展開
- Hochreiter Research Group (Linz): 学術研究継続
選び方・注意点
- 記憶系タスク特化: Associative Recall・Multi-Query Associative Recall で Transformer/Mamba 凌駕、特定領域で真価
- 欧州発 OSS LLM: 米国 (OpenAI/Anthropic) ・中国 (DeepSeek/Qwen) ・UAE (Falcon) に次ぐ第 4 勢力候補
- LSTM 復興の象徴: 学術的価値高、AI 研究界の歴史的瞬間
- MMLU 性能: 60.7% で Llama 3 8B (66.6%) に劣る、汎用性能では Transformer 系統優位
- 並列化制限: sLSTM は順次計算で大規模学習困難、mLSTM 主軸推奨
- NXAI 商業展開: 2023 Hochreiter 創業のスタートアップ、欧州 AI 主権の象徴
- Linz Institute 主導: オーストリア・リンツ拠点の研究機関、欧州 AI 研究の中核
関連用語との違い
| 用語 | 違い |
|---|---|
| xLSTM (Sepp Hochreiter 2024) | LSTM 拡張・Hochreiter 復興 |
| Mamba (Gu & Dao 2023) | SSM 系統 |
| Mamba-2 (Tri Dao 2024) | SSD 統一 |
| Falcon Mamba (TII 2024) | Pure Mamba 7B |
| Liquid Foundation Models (2024) | Liquid NN 系統 |
よくある質問（FAQ）
Q1: なぜ Hochreiter は 30 年後に LSTM 復興？ A: (1) 1997 年 LSTM 発明者として「自分が作った技術が Transformer に駆逐された」屈辱を晴らす学術的動機 (2) Transformer の計算量 O(N²) 問題が顕在化、O(N) 系統の需要再認識 (3) Mamba (2023) の成功で「Transformer 以外の道」が学術的に正当化 (4) 欧州 AI 主権論の高まりで Linz Institute・NXAI への支援獲得。
Q2: Mamba とどう違う？ A: Mamba = SSM (State Space Model、信号処理由来) ・xLSTM = LSTM 拡張 (RNN 由来)。両者とも O(N) 線形計算量で Transformer 対抗だが、(1) Mamba は Selective 機構で attention 級表現力 (2) xLSTM は Exponential Gating + Matrix Memory で記憶力強化、設計哲学異なる。
Q3: 欧州 OSS LLM の地政学的意義は？ A: 米国 (OpenAI/Anthropic/Meta) 独占 + 中国 (DeepSeek/Qwen) 急成長 + UAE (Falcon) 参入の中、欧州は GDPR / AI Act 規制環境で独自 LLM 需要。xLSTM + Mistral (フランス) + Aleph Alpha (ドイツ) で欧州 AI 主権を構築中、NXAI は Linz 拠点でその一翼。
まとめ
- LSTM 発明者 Sepp Hochreiter 2024年5月発表
- Exponential Gating + Matrix Memory で LSTM 拡張
- Associative Recall タスクで Transformer/Mamba 凌駕
- NXAI (オーストリア Linz) で欧州発 OSS LLM 商業化
- 「LSTM 復興」AI 研究史の象徴的瞬間