AI・機械学習
上級
FIRE（Functional Interpolation for Relative Encodings）（ファイア ファンクショナル インターポレーション フォー リレーティブ エンコーディングス）
Transformer の位置エンコーディング手法で、学習可能な関数補間（functional interpolation）により相対位置情報を表現し、訓練時より長いシーケンスへの長さ外挿（length extrapolation）を可能にする手法。
0 回閲覧
0 いいね
2026/6/7 更新
関連タグ
positional-encoding
length-extrapolation
relative-position
transformer
attention
FIRE（Functional Interpolation for Relative Encodings）とは
FIREはTransformerアーキテクチャにおける位置エンコーディングの革新的手法で、2023年にSun et al.（Google DeepMind）が発表した。従来手法の固定的な位置バイアスとは異なり、位置差（relative distance）を入力とする学習可能な関数で注意スコアバイアスを動的に生成する点が特徴。
背景：位置エンコーディングの課題
Transformerにとって位置情報の扱いは長年の課題。
- 絶対位置エンコーディング（GPT-2等）：訓練長を超えると外挿が困難
- ALiBi：線形バイアスで単純だが表現力に限界
- RoPE：回転変換で相対位置を表現するが長距離での減衰が不安定
FIREの仕組み
注意スコア = QK^T / √d + FIRE_bias(i, j)
FIRE_bias(i, j) = MLP(relative_position(i - j))
- クエリ位置 i とキー位置 j の相対差 (i-j) を計算
- 小規模MLP（2〜3層）で位置差をスカラーバイアスに変換
- 変換は正規化済み位置差（訓練長で割る）を入力とするため、訓練長外の値にも連続的に対応
長さ外挿（Length Extrapolation）
FIREの最大の強みは訓練コンテキスト長を超えた推論への対応。
- 訓練時：コンテキスト長 2,048 トークン
- 推論時：8,192〜32,768 トークンでも品質劣化を抑制
位置差を正規化することで、未見の絶対距離にもMLPが合理的なバイアスを出力できる。これはALiBiの外挿性能を超え、RoPE+YaRNと同等以上の結果をPerplexity指標で示す。
他手法との比較
| 手法 | 長さ外挿 | 表現力 | 計算オーバーヘッド |
|---|---|---|---|
| ALiBi | ○（線形減衰） | 低 | 最小 |
| RoPE | △（訓練長依存） | 中 | 小 |
| FIRE | ◎（MLP補間） | 高 | 小〜中 |
| KERPLE | ◎（カーネル関数） | 高 | 小 |
実装上のポイント
- MLPはヘッドごと共有かヘッドごと独立かを選択可能
- 正規化方法（max距離・訓練長・対数スケール）によって外挿性能が変化
- Flash Attention との統合では追加のカーネル実装が必要になる場合がある
適用シーン
- 長文書要約：法律文書・学術論文等の長コンテキスト処理
- 長い対話履歴：マルチターン会話の全コンテキスト保持
- コード生成：大規模コードベースの文脈理解
まとめ
FIREは学習可能な関数補間によって位置エンコーディングの表現力と外挿能力を両立する手法。実装コストはALiBiより高いが、長コンテキスト処理が重要なLLM開発において有力な選択肢となっている。