BigBird スパースアテンション（ビッグバードスパースアテンション）
Googleが2020年に提案した長文処理向けスパースアテンション機構。ランダムアテンション・局所ウィンドウアテンション・グローバルアテンションの3要素を組み合わせ、理論的にはO(n)計算量で完全なトランスフォーマーの表現力を保持することを証明した手法。
BigBird とは
BigBird（Big Bird: Transformers for Longer Sequences）は、Google ResearchのManzil Zaheer、Guru Guruganesh らが2020年（NeurIPS 2020）に発表したスパースアテンション機構。Longformerと並ぶ長文書トランスフォーマーの代表的手法。
3種のアテンションの組み合わせ
BigBirdはアテンション行列をスパースにするため、以下の3種のパターンを組み合わせる：
1. ランダムアテンション（Random Attention）
各クエリトークンに対してランダムに選択したr個のキートークンとアテンション計算。情報が確率的に拡散し、情報のボトルネックを回避する。
2. 局所ウィンドウアテンション（Local Window Attention）
Longformerと同様のスライディングウィンドウ。各トークンが隣接するw個のトークンと局所アテンション計算を行う。
3. グローバルアテンション（Global Attention）
g個の「グローバルトークン」が全トークンと双方向アテンション。[CLS]や特定の要約トークンをグローバルトークンとして指定する。
理論的保証
BigBirdの重要な貢献は単なる効率化にとどまらず、理論的な性質を証明した点にある：
- チューリング完全性: BigBirdのスパースアテンションは標準トランスフォーマーと同様にチューリング完全（任意の計算を表現可能）
- 汎用関数近似能力: 特定の仮定のもと、スパースアテンションでも連続関数の任意精度近似が可能
- O(n)計算量: r+w+gが一定であれば、シーケンス長nに対してO(n)スケール
アーキテクチャ変形
BigBird-Sparse: スパースアテンションのみ使用（速度重視） BigBird-ETC: Extended Transformer Construction。全トークンをグローバルトークンとして見られるよう、入力に「クラスタートークン」を追加する設計。
生物情報学への応用
BigBirdの長文処理能力はゲノム配列解析で特に効果を発揮する：
- DNA/RNA配列の長距離塩基対依存の解析
- タンパク質配列の折りたたみ予測の前処理
- 4096〜8192ヌクレオチド配列を単一パスで処理可能
NLP以外へのトランスフォーマー適用の先駆け事例として注目された。
Longformerとの比較
| 観点 | BigBird | Longformer |
|---|---|---|
| ランダムアテンション | あり | なし |
| ウィンドウアテンション | あり | あり |
| グローバルアテンション | あり（g個） | あり（指定トークン） |
| 理論保証 | チューリング完全性証明 | なし |
現在の位置づけ
BigBirdはHugging Faceで公式実装が提供されており、法的文書・学術論文処理のファインチューニングベースとして活用されている。2025年時点では、NSAやMLAなど更に高効率な手法が登場したが、BigBirdの理論的証明アプローチはスパースアテンション研究の基礎として参照され続けている。