Longformer スライディングウィンドウアテンション（ロングフォーマースライディングウィンドウアテンション）
Allen AIが2020年に提案した長文書処理向けトランスフォーマー。各トークンがローカルウィンドウ内のトークンとのアテンションを計算するスライディングウィンドウと、特定タスクトークンとのグローバルアテンションを組み合わせO(n)計算量を実現する。
Longformer とは
Longformer（Long Document Transformer）はAllen AI（AI2）のIz Beltagy、Matthew E. Peters、Arman Cohanが2020年に発表した長文書処理特化のトランスフォーマーモデル。BERTの512トークン制限を突破し、4,096〜16,384トークンの長文書を効率的に処理する。
標準アテンションの問題
標準のSelf-Attentionはシーケンス長nに対してO(n²)の計算量・メモリを必要とする。BERTの512トークン制限はこの制約から生まれており、学術論文・法的文書・コードベース等の長文書処理に根本的な課題があった。
Longformerのアテンション機構
スライディングウィンドウアテンション
各トークンは両側w/2トークンの局所ウィンドウ内のトークンとのみアテンション計算を行う。これによりO(n)の計算量を実現。ウィンドウサイズwを大きくすることでアテンション範囲と計算コストのトレードオフを調整できる。
グローバルアテンション
[CLS]トークン・質問トークン等の特定トークンに「グローバルアテンション」を付与。グローバルトークンは全トークンと双方向にアテンションを計算し、文書全体の情報を集約する役割を担う。
Dilated Sliding Window（拡張ウィンドウ）
上位レイヤーではギャップを設けた拡張スライディングウィンドウを使用。receptive fieldを広げつつ計算量の増加を抑制する。
計算量の比較
| モデル | 計算量 | 特徴 |
|---|---|---|
| BERT（標準） | O(n²) | 512トークン上限 |
| Longformer | O(n × w) | 4k〜16kトークン対応 |
| GPT-2（標準） | O(n²) | 1024トークン上限 |
代表的な使用例
Long Document Classification: arXiv論文・法的文書の分類タスクで[CLS]にグローバルアテンションを付与。
Extractive QA: SQuAD-likeタスクで質問トークンにグローバルアテンションを付与し、長文書からの回答抽出精度を向上。
Coreference Resolution: 長文書中の代名詞・名詞の照応関係解析に活用。
2025年における位置づけ
Longformerは長文書LLMの基礎概念を確立した先駆的研究として位置づけられる。NSA（DeepSeek Native Sparse Attention）やBigBirdなど後継技術はLongformerのウィンドウアテンション概念を発展・組み合わせている。現在はAI2のSemantic Scholarの実運用にも採用されている。