GLA（Gated Linear Attention）（ジーエルエーゲーテッドリニアアテンション）

GLA（Gated Linear Attention）とは

GLA（Gated Linear Attention）はYang et al.（2024）が提案した線形アテンション機構の進化形。従来のSoftmax Attentionが系列長nに対してO(n²)の計算量とO(n)のメモリを必要とするのに対し、GLAはゲート付き線形カーネルにより訓練時O(n)・推論時O(1)の計算・メモリ効率を実現する。

Softmax Attentionの問題点

標準的なTransformerのSelf-Attentionは計算量O(n²d)・KVキャッシュO(n)で、128Kトークンを超える長文脈処理が実用的に困難。

線形アテンションの基本原理

線形アテンションはsoftmax関数をカーネル関数φで近似する：

LinearAttn(Q,K,V) = φ(Q) · (φ(K)ᵀV)

行列積の結合則を利用してφ(K)ᵀVをインクリメンタルに蓄積できるため、推論時のKVキャッシュがO(1)固定サイズに削減される。

GLAのゲート機構

GLAはデータ依存のゲートを追加することで性能劣化を大幅に改善：

for t in range(seq_len):
    G_t = sigmoid(W_g @ x_t)       # データ依存ゲート
    S_t = G_t * S_{t-1} + k_t.outer(v_t)  # 状態更新
    o_t = q_t @ S_t                # 出力

ゲートG_tが「どの過去情報を保持するか」をダイナミックに制御することで、Mambaのselective SSMに近い選択的記憶能力を獲得する。

チャンク並列訓練アルゴリズム

系列をチャンクに分割し、チャンク内は並列計算、チャンク間はRNN様再帰計算というハイブリッドアプローチ。これにより標準Transformerの並列訓練効率を保ちながらO(n)計算量を達成。

性能比較（GLAの位置づけ）

2024年の研究では、GLA-7BモデルがLlama 2-7B（Softmax Attention）に匹敵する言語モデリング性能を示した。

実装

fla-org/flash-linear-attention（PyTorchベース、Tritonカーネル）でHugging Face形式のGLA事前訓練モデルが公開済。

2025年の研究動向

GLAはSub-Quadratic Architecturesの主要ラインとして、Mamba・RWKV・DeltaNetと並ぶ位置づけ。純粋なAttention-Freeモデルとして将来の大規模LLMアーキテクチャへの採用可能性が継続的に研究されている。