SageAttention（セージアテンション）
清華大学らが2024年に提案した、アテンション計算をINT8/低ビットへ量子化して高速化する手法。スムージングと精密なスケーリングでSoftmax前後の精度を保ちつつ、FlashAttention比で大幅な高速化を実現するプラグイン型カーネル。
概要
SageAttention（セージアテンション）は、清華大学（Tsinghua）らの研究チームが2024年に提案した、アテンション計算自体をINT8などの低ビットへ量子化して高速化する手法です。これまでの量子化（GGUF・AWQ・GPTQなど）は主に線形層の行列積（GEMM）を対象とし、アテンション内部のQK^TやPV（注意重み×バリュー）は分布の偏りから精度劣化が大きく、量子化が敬遠されてきました。SageAttentionは、キー（K）をチャネル方向にスムージングしてからINT8量子化し、注意重みPはFP8等で扱うなど、各テンソルの分布特性に応じた精密なスケーリングで精度を保ちます。再学習不要のプラグイン型カーネルとして既存モデルへ差し込め、FlashAttention-2比で約2倍級の高速化を報告。後継のSageAttention2でさらに高速化が進み、2025年も拡散モデルや長文LLMの推論加速で活用が広がっています。
主な特徴・仕組み
- アテンションの量子化: QK^TとPVをINT8/FP8で計算
- Kのスムージング: チャネル方向の偏りをならして量子化誤差を低減
- 混合精度設計: テンソルごとに最適なビット幅・形式を選択
- 再学習不要: 学習済みモデルへそのまま適用（プラグアンドプレイ）
- FlashAttention互換の使い方: 既存のattention呼び出しを置換
- 大幅高速化: FlashAttention-2比で約2倍級（SageAttention2はさらに上）
- 精度維持: 多くのタスクでほぼ無損失の精度を報告
- 拡散・動画にも有効: 画像/動画生成の注意計算がボトルネックな用途で効果大
スペック比較表
| 項目 | SageAttention(2024) | FlashAttention-2 | AWQ/GPTQ | KVキャッシュ量子化 |
|---|---|---|---|---|
| 量子化対象 | 注意計算(QK^T,PV) | なし(FP16/BF16) | 線形層の重み | KVキャッシュ |
| ビット幅 | INT8/FP8中心 | 16bit | 4bit中心 | 主に8/4bit |
| 再学習 | 不要 | 不要 | 不要(PTQ) | 不要 |
| 高速化 | 約2倍級(対FA2) | 基準 | 主にメモリ削減 | メモリ削減 |
| 提案元 | 清華大学等 | Tri Dao | 各研究 | 各研究 |
具体例・対応製品
SageAttentionは拡散モデル（画像/動画生成）や長文LLMのプリフィルでアテンションがボトルネックになる場面で特に有効です。実装はオープンソースで公開され、Stable Diffusion系の画像生成や動画生成パイプライン、Transformerベースの長文処理で高速化の実績が報告されています。2024年末から2025年にかけてSageAttention2が登場し、より積極的な低ビット化でさらなる加速を実現。GGUFやAWQが「重みの量子化」で省メモリ・高速化を担うのに対し、SageAttentionは「注意計算の量子化」という直交した軸で高速化に寄与し、両者は併用可能です。
選び方・注意点
SageAttentionは注意計算がボトルネックの用途（長系列・拡散モデル）で効果が大きく、注意以外（線形層）が支配的な小規模モデルでは相対的な恩恵が小さくなります。量子化である以上、タスクによってはごく僅かな精度低下が生じうるため、生成品質が厳しい用途では実測で確認が必要です。対応GPU（Tensorコア世代）やFP8サポートの有無で得られる高速化が変わるため、SageAttention／SageAttention2のどちらを使うか、対象GPUと精度要件を踏まえて選定してください。
関連用語との違い
AWQ・GPTQ・GGUFがモデルの重みを量子化するのに対し、SageAttentionはアテンションの内部計算（QK^T・PV）を量子化します。KVキャッシュ量子化が保存するKVのメモリを削減するのに対し、SageAttentionは計算スループットを上げます。FlashAttention-2がFP16/BF16のままIOを最適化して高速化するのに対し、SageAttentionはビット幅自体を下げて演算を速くする点が本質的な違いで、両者は組み合わせられます。
よくある質問（FAQ）
Q1: 重みの量子化（AWQ等）と何が違いますか？ A: AWQ等は線形層の重みを4bit化しますが、SageAttentionは注意計算そのものをINT8/FP8化します。対象が異なり併用できます。
Q2: 精度はどれくらい落ちますか？ A: スムージングと精密なスケーリングにより、多くのタスクでほぼ無損失と報告されています。厳格な生成品質が必要な場合は実測検証を推奨します。
Q3: どんな用途で一番効きますか？ A: 拡散モデル（画像/動画生成）や長文LLMのプリフィルなど、アテンション計算が処理時間の大半を占める用途で高速化効果が大きくなります。
まとめ
SageAttentionは、2024年に清華大学らが提案した、アテンション計算をINT8/FP8へ量子化して高速化するプラグイン型手法です。Kのスムージングと混合精度でFlashAttention-2比 約2倍級を再学習不要で実現し、拡散モデルや長文LLMの推論を加速する次世代Attentionの代表例です。