DIFF Transformer（差分アテンション）（ディフトランスフォーマーさぶんアテンション）

DIFF Transformer（差分アテンション）とは

DIFF Transformer（Differential Attention Transformer）は、Microsoft ResearchのTianzhu Ye、Li Dong、Yuqing Xia、Yutao Sun らが2024年10月に発表したLLM向け新アテンション機構。標準トランスフォーマーのアテンションが「ノイズ」的な分散を示す問題を、差分演算で根本的に解決するアプローチ。

アテンションノイズ問題

標準のSelf-Attentionでは、ソフトマックスを通じた重みが無関係なトークンにも分散して割り当てられる現象が起きる。これを「アテンションノイズ」と呼ぶ。このノイズが長文での重要情報の見落とし・無関係なコンテキストへの過剰反応・ハルシネーション（事実誤認）の一因となっていると分析されていた。

差分アテンションの仕組み

DIFF Transformerは各アテンションヘッドを2つのサブヘッド（α、β）に分割し、差分を取る：

# 標準アテンション
Attn(Q, K, V) = softmax(QKᵀ/√d) V

# DIFF Transformer の差分アテンション
DiffAttn(Q, K, V) = [softmax(Q₁K₁ᵀ/√d) - λ·softmax(Q₂K₂ᵀ/√d)] V

λ（ラムダ）はスカラーパラメータで訓練により学習される。2つのアテンションマップの差分を取ることで、共通のノイズ成分がキャンセルされ、信号（重要なアテンション）が際立つ。

スパースアテンション様特性

興味深いのは、DIFF Transformerを訓練すると多くのヘッドがスパースアテンション様のパターンを自然に獲得する点。差分演算がランダムノイズを打ち消し、重要トークンへの注意が凝集する効果があるため、明示的にスパース制約を課さなくてもスパース的挙動が生まれる。

性能実験結果

Microsoftの論文では3B・13Bパラメータのモデルで評価：

• 言語モデリング: 標準トランスフォーマー比でより少ないパラメータ数で同等のperplexityを達成
• 長文コンテキスト取得（NIAH）: "Needle in a Haystack"テストでDIFF Transformerが標準Transformerを大きく上回る精度を達成。64kトークンでも精度低下が少ない。
• ハルシネーション: TruthfulQAで標準比でハルシネーション率が低下。関係ない情報への「惑わされ」が減少。
• Few-shot学習: 関連コンテキストへのアテンション集中率が高く、In-Context Learningの精度が向上。

グループノルム適用

差分アテンションの出力にグループノルムを適用し、分布を安定化させる。これにより差分演算で生じる数値不安定性を回避する。λは初期値0.8から訓練を通じて各レイヤー・ヘッドで異なる値に収束し、上位レイヤーほどλが小さくなる傾向がある。

実装上の注意

標準のFlashAttentionをそのまま差分アテンションに適用できないため、カスタムFlashAttentionカーネルが必要。Microsoft はHugging Face上で最適化実装をオープンソースで公開している。

まとめ

DIFF Transformerはアーキテクチャの本質を変えずに差分演算という単純な改変でLLMの品質を向上させる革新的アプローチ。特にRAGシステムや長文QAなど、関連情報を正確に取得するタスクへの応用が期待されており、2025年以降の実用LLMへの採用が注目されている。