Sequence Parallelism（Megatron-LM）とは？（シーケンスパラレリズムメガトロンエルエルエム）意味・特徴をわかりやすく解説

Q: Sequence Parallelism（Megatron-LM）とは？

NVIDIAのMegatron-LMにおけるシーケンス並列化手法。テンソル並列と組み合わせ、LayerNormやDropoutなどアテンション外の層もシーケンス次元で並列化し活性化メモリをTP倍数分の1に削減する。

Sequence Parallelism（Megatron-LM）完全ガイド

概要

NVIDIAのMegatron-LMフレームワークが提案するSequence Parallelism（SP）は、テンソル並列（TP）と組み合わせて使用するアクティベーションメモリ削減手法。2022年のNVIDIA論文「Reducing Activation Recomputation in Large Transformer Models」で詳述されている。Ring AttentionやUlyssesとは異なり、長文脈の実現よりもメモリ効率改善を主目的とする。

TPとSPの協調動作

Transformerブロックは2種類の領域に分類される：

TP領域: Self-Attention・MLP（すでにTPで並列化済み）
SP領域: LayerNorm・Dropout（従来はTPでも複製されていた）

SPでは、SP領域でシーケンス次元を分割して保持し、TP領域に入る前にAll-Gather、出た後にReduce-Scatterを行う。これによりアクティベーション全体をTP_size分の1に削減する。

All-Gather → [Self-Attention with TP] → Reduce-Scatter → [LayerNorm with SP]
  ↑FullSeq                                  ↓SeqSlice

パフォーマンス実績

設定	TP	SP	アクティベーション削減率
なし	1	なし	基準（100%）
TP=4のみ	4	なし	~25%削減
TP=4 + SP	4	あり	~6%（1/TP_size=1/4）
TP=8 + SP	8	あり	~3%削減

Ring Attention/Ulyssesとの違い

観点	Megatron SP	Ring Attention	Ulysses
主目的	アクティベーション削減	長文脈拡張	長文脈拡張
適用箇所	LayerNorm/Dropout	Attention全体	Attention全体
依存する並列化	TP必須	単独動作可	単独動作可

実装方法

# Megatron-LM訓練スクリプト引数
--tensor-model-parallel-size 4 \
--sequence-parallel

採用事例

LLaMA 3 405B訓練: MetaがSP採用を明記
Mistral Large: NeMoベースの訓練インフラでSP適用
Falcon 180B: Megatron-LMのSPを活用

2025年のトレンド：4D/5D並列

長文脈モデルの普及に伴い、従来の3D（DP+TP+PP）に以下を追加した「4D/5D並列」が登場：Context Parallelism（Ring Attention）+ Expert Parallelism（MoEエキスパート分散）。LLaMA 3 405BやGemini Ultra訓練では5D並列が採用されている。

Sequence Parallelism（Megatron-LM）（シーケンスパラレリズムメガトロンエルエルエム）