状態空間モデル（LLM）とは？（ジョウタイクウカンモデル）意味・特徴をわかりやすく解説

状態空間モデル（LLM）（ジョウタイクウカンモデル）

S4からMamba、Mamba-2、xLSTM、RWKVまでLLM向け状態空間モデルの総称。Transformerの二次複雑度問題を線形・定数メモリで解決し、長文脈・エッジ推論での代替アーキテクチャとして2025年研究の主軸となっている。

0 回閲覧

0 いいね

2026/6/8 更新

状態空間モデル（SSM）の概要

状態空間モデルは制御工学由来のシーケンスモデリング手法で、LLM文脈ではTransformerのアテンション機構の代替として研究が進んでいる。基本形式：

ht = Aht-1 + Bxt   # 状態更新
yt = Cht + Dxt     # 出力

連続時間SSMを離散化し、A・B・C・Dパラメータを学習するのが基本アプローチ。

第1世代の問題：パラメータが固定で入力に適応できない→テキスト理解タスクで遅れ。

モデル	特徴
Mamba-1	選択メカニズム（入力依存Δ、B、C）でS4の固定パラメータ問題を解決
Mamba-2	SSD理論・GEMM実装・8倍高速化
RWKV-5/6	Time-Mixing+Channel-Mixing、学習並列・推論RNN
xLSTM	mLSTM行列メモリ+sLSTMスカラー記憶、LSTM系復活

モデル	構成
Jamba	Mamba + Transformer + MoE（AI21 Labs、12B）
Zamba2	Mamba2ブロック + 共有アテンション（Zyphra、7B）
NVIDIA Mamba-2-Hybrid	SSM+Attention交互配置
Samba	Mamba + Sliding Window Attention（Microsoft）

特性	Transformer	純粋SSM	ハイブリッド
学習効率	◎	○	◎
推論メモリ	✗ O(L) KVキャッシュ	◎ O(1)	○ 部分削減
In-context Learning	◎	△	○
長文脈精度	○	○	◎
実装成熟度	◎	○	○

重要な発見（2024）: 純粋SSMはin-context learningで多ショット例示の活用がTransformerより劣るという報告が複数あり、2025年時点では「SSMでTransformerを完全置換」より「ハイブリッド設計で長所を組み合わせる」が現実的な方向性となっている。