Relative Position Bias（相対位置バイアス）（ソウタイイチバイアス）

Relative Position Bias（相対位置バイアス）とは

Relative Position Bias は、Self-Attention のスコア計算においてトークン間の相対的な距離に基づくバイアス項を加算する位置エンコーディング手法である。Raffel et al.（2020）のT5で体系化され、その後 DeBERTa（He et al., 2021）で拡張された。

従来の絶対位置エンコーディング（Sinusoidal/Learned）がトークン埋め込みに位置情報を加算するのに対し、Relative Position Bias はAttention計算の内部で位置情報を導入する点が本質的に異なる。

Relative Position Biasの基本原理

Attentionスコアへのバイアス加算

通常のAttentionスコア： score(i, j) = q_i^T · k_j / √d_k

Relative Position Bias付き： score(i, j) = q_i^T · k_j / √d_k + b(i - j)

ここで b(i - j) は相対距離 (i - j) に対する学習可能なバイアス値である。

バイアステーブルの構造

T5では相対距離を対数的にバケット化し、遠距離のバイアスを粗く、近距離のバイアスを細かく表現する。

T5のバケット化戦略

T5は相対距離を直接テーブル化するのではなく、対数バケットにマッピングすることでメモリ効率とスケーラビリティを両立している。

この設計は「近いトークンほど正確な距離情報が重要」という直感に基づいている。位置0と位置1の違いは重要だが、位置500と位置501の違いは通常無視できる。

DeBERTaによる拡張

DeBERTa（Decoding-enhanced BERT with disentangled Attention）は、Relative Position Bias をさらに洗練し、Disentangled Attention メカニズムを導入した。

Disentangled Attentionの3成分

DeBERTaのAttentionスコアは以下の4項の和で計算される：

ここで q_c/k_c は内容ベクトル、q_p/k_p は位置ベクトルから生成された Query/Key である。

この分離（Disentangle）により、内容情報と位置情報が独立に活用され、特に自然言語推論（NLI）タスクで顕著な性能向上を示した。

他の位置エンコーディングとの比較

現在の位置づけと影響

Relative Position Bias は、大規模 Decoder-only LLM ではRoPEやALiBiに主流の座を譲ったが、以下の分野で重要な役割を果たし続けている。

• Encoder-Decoderモデル: T5, mT5, Flan-T5 で標準採用
• NLU特化モデル: DeBERTa-v3 が多数のベンチマークでBERT系最高性能
• 音声認識: Conformerなどで相対位置バイアスが活用
• 画像認識: Swin Transformerが2D相対位置バイアスを採用

FAQ

Q1: T5のバケット化で精度は落ちないのか？

遠距離のバケット化による精度低下は実験的にほぼ観測されない。言語モデリングにおいて、遠距離トークン間の正確な距離情報は重要性が低いため、対数バケット化は理にかなった近似である。

Q2: DeBERTaのDisentangled AttentionはなぜLLMで採用されないのか？

Disentangled Attentionは Content-to-Position と Position-to-Content の2つの追加 Attention 計算を必要とするため、計算コストが増加する。Decoder-only LLMではRoPEがより計算効率的に相対位置を表現できるため、DeBERTa方式は主にEncoder系モデルに留まっている。

Q3: Relative Position BiasとALiBiの違いは？

両者ともAttentionスコアにバイアスを加算するが、Relative Position Biasのバイアスは学習可能であるのに対し、ALiBiのバイアスは固定の線形関数である。ALiBiは追加パラメータが不要な代わりに表現力が制限される。