NSA（Native Sparse Attention）（エヌエスエー）

概要

NSA（Native Sparse Attention）は、DeepSeekが2025年2月に論文発表した、訓練段階からネイティブに組み込む疎（スパース）アテンション機構です。従来の疎アテンションの多くは学習済みモデルへ推論時に後付けする方式で、訓練と推論の挙動が乖離し勾配も流れにくいという課題がありました。NSAはこれを「訓練可能（trainable）」かつ「ハードウェア整合（hardware-aligned）」に再設計し、64kトークンの長文脈で全注意（Full Attention）比 約11.6倍のデコード高速化を報告しながら、一般ベンチマークで全注意と同等以上の精度を達成しています。2025年のLong Context効率化を象徴する代表的アプローチです。

主な特徴・仕組み

• 3系統の統合: 粗いブロック圧縮（Compression）・重要ブロック選択（Selection）・近傍スライディング（Sliding Window）を並列に走らせる
• 学習可能ゲート: 3経路の出力を入力依存のゲート係数で動的に重み付け合成
• ブロック単位の選択: トークン個別ではなくブロック粒度で重要箇所を選び、GPUのメモリアクセスに整合
• GQA/MQAと両立: Grouped Query Attentionのグループ構造を前提にカーネルを最適化
• エンドツーエンド訓練: 疎構造を含めて勾配が流れ、事前学習から疎パターンを学習
• Triton実装カーネル: 専用カーネルで理論高速化を実測へ落とし込む
• 対称な高速化: 訓練・プリフィル・デコードの全フェーズで加速
• 長文で効果増大: 文脈長が伸びるほど全注意との差が拡大

スペック比較表

具体例・対応製品

NSAはDeepSeekの研究として2025年に公開され、長文要約・コードベース全体解析・大規模RAGといった数万トークン級の用途で威力を発揮します。同時期にMoonshot AIのMoBAなど類似のブロック疎アテンションが相次ぎ提案され、2025年は「ネイティブ疎アテンション元年」と呼べる潮流が生まれました。実運用では、vLLMやSGLangなどの推論基盤が長文脈最適化を強化する流れと連動し、Qwen3やDeepSeek-V3系の超長文対応の基盤技術として注目されています。

選び方・注意点

NSAは数万トークン以上の長文脈でこそ真価を発揮し、短い系列では全注意との差が小さくオーバーヘッドが目立つ場合があります。導入には専用カーネル（Triton等）とGQA前提のアーキテクチャ整合が必要で、既存モデルへ後付けするより最初から組み込んで事前学習する方が効果的です。2025年時点では実装が研究主導で、安定したライブラリ統合は発展途上のため、本番採用時はカーネルの対応GPU・精度（FP16/BF16）・系列長を実測で検証してください。

関連用語との違い

スライディングウィンドウアテンションが近傍のみを見るのに対し、NSAは圧縮経路で大域情報も保持します。FlashAttention-2が全注意のIOを最適化して高速化するのに対し、NSAは計算そのものを疎化して準線形に近づけます。同じ2025年のMoBAもブロック疎ですが、NSAは圧縮・選択・スライディングの三系統統合とハードウェア整合カーネルを前面に出す点が特徴です。

よくある質問（FAQ）

Q1: なぜ「Native」と付くのですか？ A: 推論時の後付けではなく、事前学習の最初から疎構造を組み込み勾配を流して学習するためです。訓練と推論の挙動が一致します。

Q2: 短い文章でも速くなりますか？ A: 効果は文脈長に比例して大きくなります。数千トークン程度では差が小さく、64kなど長文でこそ大幅な高速化（約11倍）が得られます。

Q3: 既存のLlamaやQwenにそのまま適用できますか？ A: 後付け適用は可能ですが効果が限定的です。NSAは最初から組み込んで事前学習する設計のため、新規モデル設計での採用が本来の使い方です。

まとめ

NSAは、2025年にDeepSeekが提案した訓練可能・ハードウェア整合の疎アテンションで、圧縮・選択・スライディングの三系統を学習可能ゲートで統合し、64kトークンで約11.6倍の高速化と全注意同等の精度を両立します。長文脈LLMの効率化を牽引する次世代Attentionの代表格です。