Native Sparse Attention（NSA）（ネイティブスパースアテンション）
DeepSeek が2025年に提案したハードウェア効率最適化型スパースアテンション。圧縮ブロック・スライディングウィンドウ・トークン選択の3戦略を組み合わせ、フルアテンションに近い精度を維持しながら計算量を大幅削減する手法。
Native Sparse Attention（NSA）とは
Native Sparse Attention（NSA）は、DeepSeekが2025年に発表したLLM向け効率的アテンション機構。標準のSelf-Attentionが全トークンペアに対してO(n²)の計算量を要する問題を、3種類のスパース計算パターンの組み合わせで解決する。
フルアテンションの限界
標準のMulti-Head Attention（MHA）は、シーケンス長nに対して計算量・メモリともにO(n²)でスケールする。128kトークン処理では非現実的な計算コストとなり、長文処理の実用化が困難だった。FlashAttentionがIO効率を改善したが、根本的な計算量の問題は残った。
NSAの3戦略
1. 圧縮アテンション（Compressed Attention）
トークンブロックを圧縮キーとして集約し、文書全体の粗粒度コンテキストを把握。遠距離依存関係を低コストで捉える。
2. スライディングウィンドウアテンション（Window Attention）
各トークンがローカルウィンドウ内の近傍トークンのみと精密なアテンション計算を行う。構文・語句レベルの局所依存を正確に処理。
3. 選択アテンション（Selected Attention）
重要度スコアリングにより選択したトークンのみに対して精密計算を実施。圧縮アテンションで見落とした重要コンテキストを補完。
ハードウェア最適化
NSAはGPUのワープ（warp）実行モデルとSRAMアクセスパターンに合わせて設計されている。標準スパースアテンション実装がしばしば不規則なメモリアクセスで性能低下するのと対照的に、NSAはFlashAttention-2と同様のタイル処理を採用してGPU効率を最大化する。
MLA との連携
DeepSeek-V3/R1ではNSAをMulti-Head Latent Attention（MLA）と組み合わせて使用。MLA側でKVキャッシュを圧縮し、NSA側でアテンション計算を効率化することで、メモリと計算の両面でコストを削減している。
性能評価
DeepSeekの報告によると、NSAはLongBench・RULER等の長文ベンチマークでフルアテンションと同等以上の性能を維持しながら、訓練速度で約2倍の高速化を達成。100k〜1Mトークンクラスの文書処理を実用的なコストで実現する。
関連技術との比較
| 技術 | アプローチ | 長所 | 短所 |
|---|---|---|---|
| NSA | 階層型スパース | ハードウェア最適化・高精度 | 実装複雑 |
| Longformer | ウィンドウ+グローバル | シンプル | 選択的精密計算なし |
| BigBird | ランダム+ウィンドウ+グローバル | 理論保証あり | ランダム性 |
| FlashAttention | IO最適化フルアテンション | ソフトウェア互換性 | O(n²) |
まとめ
NSAはスパースアテンションの実用化において重要な一歩。特にハードウェア特性を考慮した設計思想は、他の効率化手法と組み合わせる際の基盤技術として注目されている。