LongLoRA（ロングローラ）

LongLoRA — 効率的なスパースアテンション訓練によるコンテキスト拡張

LongLoRAは2023年にHKUSTのChen et al.が発表したコンテキストウィンドウ拡張手法だ。「訓練時に計算効率の高いスパースアテンションを使い、推論時はフルアテンションで互換性を保つ」というトレードオフを巧みに利用し、少ないGPUリソースでの長文ファインチューニングを実現した。

中心技術: Shifted Sparse Attention（S2-Attn）

通常のフルアテンション（全トークン間のAttention）は計算量が O(n^2) に比例するため、コンテキスト長の拡張はそのまま計算コストの爆発を意味する。

S2-Attnはこれを回避するため:

1. グループ化: シーケンスを固定サイズ g のグループに分割
2. 局所Attention: 各グループ内でのみAttentionを計算（計算量: O(n * g) に削減）
3. シフト: グループ境界をまたぐ情報伝達のため、ヘッドの半分はシフトした境界でグループ化

通常グループ:  [1,2,3,4] [5,6,7,8] [9,10,11,12]
シフトグループ: [3,4,5,6] [7,8,9,10] [11,12,1,2]

シフト有りと無しを組み合わせることで、グループ境界を超えた長距離依存性も捕捉できる。

LoRAとの組み合わせ

LongLoRAの「Lo」はLoRA（Low-Rank Adaptation）から来ており、訓練時の更新パラメータをLoRAアダプタに限定することでさらに効率化:

• 全パラメータ更新不要: LoRAのランクパラメータ（r=16程度）のみ更新
• 元モデル保護: ベースモデルは凍結されるため、元の性能への影響を最小化
• コンテキスト長の設定だけ変更: RoPEのスケーリングと最大長の設定変更を追加

計算コスト比較

論文ではLLaMA 2 7Bを8k・100kへ、13Bを32kへ、70Bを32kへ、それぞれ1〜4枚のA100で拡張している。

重要な前提条件

• 推論時はフルアテンション: S2-Attnは訓練時のみ使用。推論時は通常のフルアテンションで動作するため既存の推論コード・フレームワークと互換性がある
• 訓練品質の上限: スパースアテンションのため、フル訓練と比べると細かいパターン学習に限界がある。超長文（100k以上）では訓練品質が落ちやすい
• 良いRoPEスケーリングとの組み合わせが前提: LongLoRAはLoRA+S2-Attnが効率化、RoPEスケーリングがコンテキスト拡張を担う2層構造

公開リソース

Hugging Face Hubに公式モデルが公開されており（yukang/LongAlpaca-70B-16kなど）、Transformersで直接ロード・使用が可能。