HGRN2（Hierarchical Gated Recurrent Network 2）（エイチジーアールエヌツーハイアラーキカルゲーテッドリカレントネットワーク）

HGRN2 とは

HGRN2（Hierarchical Gated Recurrent Network 2）はQin et al.（OpenNLPLab、2024）が開発した線形再帰型言語モデルアーキテクチャ。初代HGRNをベースに主要な性能ボトルネックを解消した改良版で、Mamba・RWKV・GLAらと並ぶSub-Quadratic LLMの主要提案の一つ。

HGRN初代の問題と改良点

初代HGRNの隠れ状態サイズが全層で同一（1次元ベクトル）だったため、複雑な文脈情報の保持に限界があった。HGRN2はこれを階層的状態拡大（Hierarchical State Expansion）で解決：

層 1: 状態サイズ = d/4  （浅い層は小さな状態）
層 2: 状態サイズ = d/2
層 3〜N: 状態サイズ = d  （深い層は最大サイズ）

深い層ほど大きな隠れ状態を持つことで長距離依存の捕捉能力を向上させながら、浅い層の計算コストを節約する。

コアとなる再帰式

f_t = sigmoid(W_f @ x_t + b_f)   # フォーゲットゲート [0,1]
i_t = (1 - f_t)                   # インプットゲート（相補的）
h_t = f_t * h_{t-1} + i_t * v_t  # 状態更新
o_t = silu(W_o @ x_t) * h_t      # 出力

フォーゲートとインプットゲートの相補的関係（i = 1 - f）がHGRN2の特徴的設計。これによりゲートのパラメータ数を削減しつつ情報のバランスを保証する。

性能評価（2024年）

実装

from fla.models import HGRN2Model, HGRN2Config

config = HGRN2Config(
    hidden_size=2048,
    num_hidden_layers=24,
    expand_ratio=1,
    use_short_conv=True,
)
model = HGRN2Model(config)

fla-org/flash-linear-attention リポジトリでTritonベースの最適化カーネルが提供されている。