Lightning Attention（ライトニングアテンション）
MiniMaxが大規模実用化した線形アテンション機構。Softmaxを使わず計算順序を組み替えることで計算量を系列長に対して線形O(n)に抑え、超長文脈を低コストで処理する。MiniMax-01で本格採用された。
概要
Lightning Attentionは、中国のAI企業MiniMaxが大規模に実用化した線形（リニア）アテンション機構です。通常のSoftmaxアテンションはクエリ・キー積（QK^T）の二次計算 O(n^2) が支配的ですが、線形アテンションはSoftmaxの代わりにカーネル写像を用い、計算順序を組み替えて系列長に対して線形 O(n) に抑えます。Lightning AttentionはこれをGPU上でブロック分割しIO効率の良いタイル処理として実装した高速版で、2025年1月公開のMiniMax-01で本格採用されました。MiniMax-01は線形層と少数のSoftmax層を組み合わせるハイブリッド設計で、400万トークン級の超長文脈を実用的なコストで扱えることを示し、長文脈効率化の有力路線として注目されています。
主な特徴・仕組み
- 線形計算量: O(n^2)ではなくO(n)で系列長に比例
- Softmaxを回避: カーネル特徴写像で(K^TV)を先に集約
- 再帰的/並列の両形態: 学習は並列、推論は固定サイズ状態で再帰的に進められる
- 一定メモリ推論: KVキャッシュが系列長に依らず一定に保てる
- タイル化IO最適化: FlashAttention同様にSRAM活用で実測高速化
- ハイブリッド構成: 数層おきにSoftmax注意を挟み表現力を補完
- 超長文に強い: 400万トークン級の文脈を実用コストで処理
- MoEと併用: MiniMax-01はMoEと線形注意を組み合わせる
スペック比較表
| 項目 | Lightning Attention | Softmax注意 | Mamba(SSM) | FlashAttention-2 |
|---|---|---|---|---|
| 計算量 | O(n)線形 | O(n^2) | O(n)線形 | O(n^2)をIO最適化 |
| KVキャッシュ | 一定サイズ | 系列長に比例 | 状態のみ一定 | 系列長に比例 |
| Softmax | 不使用 | 使用 | 不使用 | 使用 |
| 代表採用 | MiniMax-01 | 大半のLLM | Codestral Mamba等 | 多数 |
| 超長文適性 | 高(400万級) | 低(二次で増大) | 高 | 中 |
具体例・対応製品
Lightning Attentionの代表的な実装先はMiniMax-01（MiniMax-Text-01）で、2025年1月に公開され400万トークン級の文脈を扱える点が大きな話題となりました。同系統の線形・準線形アプローチには、RetNet（Retention）、Mamba系のState Space Model、Googleのlinear attentionなどがあり、いずれも「Softmaxの二次計算を避けて長文を線形コストで処理する」という思想を共有します。長文脈エージェントのメモリや、書籍数冊分のドキュメント一括解析といった用途で実用的な選択肢になります。
選び方・注意点
線形アテンションは超長文で圧倒的に有利な一方、純粋な線形のみでは短〜中距離の精密な依存関係でSoftmax注意に劣る場合があります。そのためMiniMax-01のように数層おきにSoftmax注意を挟むハイブリッドが現実解です。実装はタイル化カーネルに依存するため、対応GPU・精度（BF16等）・系列長の組み合わせを実測で確認する必要があります。極端な長文での性能向上が目的でなければ、FlashAttention-2など既存の最適化済み全注意の方が実装も成熟しており扱いやすいケースもあります。
関連用語との違い
FlashAttention-2が二次計算のIOを最適化して速くするのに対し、Lightning Attentionは計算量そのものを線形化します。Mamba（SSM）も線形・一定状態で長文に強い点は似ますが、Mambaは選択的状態空間という別系統で、Lightning Attentionはあくまでアテンションの枠組み内でSoftmaxを置換した線形注意です。NSAやMoBAが疎（スパース）化で速くするのに対し、線形アテンションは密だが計算順序の工夫で高速化する点が異なります。
よくある質問（FAQ）
Q1: なぜ線形だと速いのですか？ A: QK^Tを作らず、(K^TV)を先に集約してからQを掛けるため、計算量が系列長nの二乗ではなく一次に比例します。
Q2: 精度は全注意に劣りませんか？ A: 純粋な線形のみでは精密な依存で劣る場合があり、MiniMax-01のように少数のSoftmax注意を挟むハイブリッドで実用精度を確保します。
Q3: どのモデルで使われていますか？ A: MiniMax-01（2025年）が代表で、400万トークン級の超長文脈を実用的なコストで処理できることを示しました。
まとめ
Lightning Attentionは、Softmaxを使わず計算を線形化し、タイル化カーネルでGPU実装した高速な線形アテンションです。MiniMax-01で本格採用され、ハイブリッド構成により400万トークン級の超長文脈を実用コストで扱える、2025年の長文脈効率化の代表技術です。