Differential Transformer（Diff Attention）（ディファレンシャルトランスフォーマー）
Microsoft Researchが2024年に提案したアテンション改良。2つのSoftmaxアテンションマップの差分を取ることで共通ノイズを打ち消し、本当に重要な文脈に注意を集中させる。長文での幻覚（ハルシネーション）低減に寄与する。
概要
Differential Transformer（差分トランスフォーマー、Diff Attention）は、Microsoft Researchが2024年10月に提案したアテンション機構の改良です。発想の核心はノイズキャンセリングヘッドホンの差分原理で、2つのSoftmaxアテンションマップの差分を取ることで、両者に共通して乗る「注意ノイズ」を打ち消し、本当に重要な文脈へ注意を集中させます。通常のTransformerは無関係なトークンにも少なからず注意が漏れ、これが長文での精度低下や幻覚（ハルシネーション）の一因とされてきました。Diff Attentionは信号対雑音比（SNR）を高めることで、長文の鍵情報検索や要約の安定性を改善し、2024〜2025年に注目された軽量かつ汎用的なアーキテクチャ改良です。
主な特徴・仕組み
- 2つの注意分布: クエリ・キーを2組（Q1,K1とQ2,K2）に分割
- 差分計算: softmax(Q1K1) - λ*softmax(Q2K2) で注意マップを構成
- 学習可能なλ: 差分の強さを層・ヘッドごとに学習
- 共通ノイズの相殺: 両分布に共通する背景的注意を打ち消す
- 疎で集中した注意: 重要トークンへ鋭く注意が集まる
- アーキ汎用性: 既存のMulti-Head Attentionと差し替え可能
- 長文で効果増: 文脈が長いほどノイズ相殺の恩恵が大きい
- 幻覚・活性化外れ値の低減: 量子化耐性の向上も報告
スペック比較表
| 項目 | Diff Attention(2024) | 通常のMulti-Head | スライディングウィンドウ | NSA(2025) |
|---|---|---|---|---|
| 主目的 | 注意ノイズ相殺 | 標準 | 計算削減 | 計算削減+長文 |
| 計算量 | O(n^2)(2分布) | O(n^2) | O(n*w) | 準線形 |
| 幻覚低減 | 効果報告あり | 標準 | 限定的 | 主目的外 |
| 長文検索精度 | 向上 | 標準 | 低下しうる | 向上 |
| 提案元 | Microsoft | Google(2017) | Mistral等 | DeepSeek |
具体例・対応製品
Differential TransformerはMicrosoft Researchの論文として2024年に公開され、Needle-in-a-Haystack（干し草の中の針）型の長文鍵情報検索や、要約タスクでの幻覚低減、In-Context Learning（文脈内学習）の安定化で効果が報告されました。さらに活性化の外れ値（outlier）が減ることで、後段の量子化（GGUF/AWQなど）における精度劣化を抑えやすいという副次効果も示されています。標準のMulti-Head Attentionと置き換え可能なため、新規モデル設計時のアーキテクチャ選択肢として2025年も検討が続いています。
選び方・注意点
Diff Attentionは2つの注意分布を計算するため、素朴な実装では注意計算のコストが増える点に注意が必要です（ヘッド数の調整で総コストは概ね同等に保てると報告）。効果は長文・ノイズの多い文脈で顕著で、短文では差が小さくなります。既存の事前学習済みモデルへ後付けするより、最初から組み込んで学習する方が本来の効果を引き出せます。FlashAttentionなどのIO最適化カーネルと組み合わせる際は、2分布構成に対応した実装かどうかを確認してください。
関連用語との違い
NSAやMoBAが「どこに注意を払うか（疎化）」で計算を減らすのに対し、Diff Attentionは計算量は基本的に二次のまま「注意の質（ノイズ相殺）」を高める点が根本的に異なります。スライディングウィンドウが近傍に限定して精度を犠牲にしうるのに対し、Diff Attentionは全注意を保ったまま無関係箇所への漏れを抑えます。Multi-Head Latent Attention（MLA）がKVを圧縮してメモリを節約する手法であるのに対し、Diff Attentionは注意分布の構成方法そのものを変える改良です。
よくある質問（FAQ）
Q1: なぜ差分を取ると良いのですか？ A: 2つの注意分布に共通して乗る背景的なノイズが引き算で相殺され、重要トークンへの注意だけが残るためです。ノイズキャンセリングと同じ原理です。
Q2: 計算コストは倍になりますか？ A: 2分布を計算しますが、ヘッド数を調整することで総計算量を通常のMulti-Headと概ね同等に保てると報告されています。
Q3: 量子化に強いというのは本当ですか？ A: 活性化の外れ値が減るため、量子化時の精度劣化を抑えやすいという副次的な利点が示されています。
まとめ
Differential Transformer（Diff Attention）は、2024年にMicrosoftが提案した、2つの注意分布の差分で共通ノイズを相殺するアテンション改良です。長文の鍵情報検索や要約での幻覚低減、量子化耐性の向上に寄与する、注意の「質」を高める次世代Attentionの代表例です。