AI・機械学習
上級
LongLoRA（ロングローラ）
MIT・香港中文大学が2023年に提案した、Shift Short Attention（S²-Attn）とLoRAを組み合わせ、LLMを長文コンテキスト（32k〜100kトークン）へ効率的にファインチューニングする手法。
0 回閲覧
0 いいね
2026/6/8 更新
関連タグ
LLM
ファインチューニング
文脈長拡張
LoRA
効率化
アテンション
2023
LongLoRA とは
LongLoRAはMITと香港中文大学の研究チームが2023年に提案した、大規模言語モデル（LLM）を長文コンテキストへ効率的にファインチューニングする手法です。わずか2枚のA100 GPUでLlama 2 7Bを100kトークンコンテキストに拡張することを実証しました。
核心技術: Shift Short Attention (S²-Attn)
問題: フルアテンションの計算コスト
TransformerのSelf-Attentionは系列長nに対してO(n²)の計算量を要します。コンテキストを4kから32kに拡張するだけで、アテンション計算は64倍になります。
解決策: S²-Attn
LongLoRAは訓練フェーズのみに適用する特別なアテンション機構を導入します：
- グループ分割: 系列をG個の等長ブロックに分割し、各ブロック内でのみローカルアテンションを計算（計算量はO(n×G)に削減）
- シフト処理: ヘッドの半分は元の位置でグループ計算、残り半分はトークンをG/2だけシフトしてグループ計算
- 推論時はフルアテンション: S²-Attnは訓練時のみのトリックで、推論時はオリジナルのフルアテンションをそのまま使用
このシフト機構によってグループ境界をまたぐ情報交換が可能になり、ローカルアテンションの「孤立ブロック問題」を解消します。
LoRAとの組み合わせ
LongLoRAは重みの更新にLoRAを使用します。ただし通常のLoRAと異なり、埋め込み層とノーム層もフルパラメータで更新することが重要な知見として示されています。
| 更新対象 | LongLoRA方式 |
|---|---|
| アテンション投影 (Q,K,V,O) | LoRA（低ランク更新） |
| FFN層 | 凍結 |
| 埋め込み層 | フル更新（重要） |
| RMSNorm層 | フル更新（重要） |
実験結果
| 設定 | コンテキスト長 | GPU (A100 80GB) | 時間 |
|---|---|---|---|
| フルファインチューニング 32k | 32k | 8枚 | 〜30時間 |
| LongLoRA 32k | 32k | 1枚 | 〜24時間 |
| LongLoRA 100k | 100k | 2枚 | 〜24時間 |
LongAlpaca データセット
LongLoRA公開時に同時リリースされた、長文ファインチューニング用データセット。24kトークン以上の長文Q&A 3,000件以上を含みます。
限界
- S²-Attnは訓練専用トリックのため推論時はフルアテンションが必要（高コスト）
- 非常に長いコンテキスト（100k+）では「中間の迷子（Lost in the Middle）」問題が依然存在
まとめ
LongLoRAはS²-Attnによる訓練効率化とLoRAの組み合わせで、小規模なGPU環境でもLLMを大幅に長いコンテキストへ拡張することを実現しました。後続の多くのコンテキスト拡張研究に影響を与え、LLM長文化の実用的な出発点として広く参照されています。