AI・機械学習
上級
DeepSpeed Ulysses（シーケンス並列）（ディープスピード ユリシーズ シーケンス ヘイレツ）
MicrosoftのDeepSpeedが2023年に提案したシーケンス並列化手法。All-to-All通信でQ/K/Vをシーケンス次元からヘッド次元に再分配し、各GPUが全シーケンスの一部ヘッドの注意計算を担当する。Ring Attentionより通信効率が高いケースがある。
0 回閲覧
0 いいね
2026/6/7 更新
関連タグ
DeepSpeed
Ulysses
シーケンス並列
分散学習
長文脈LLM
DeepSpeed Ulysses シーケンス並列 完全ガイド
概要
DeepSpeed Ulyssesは2023年にMicrosoft Researchが提案したシーケンス並列化手法。論文「DeepSpeed Ulysses: System Optimizations for Enabling Training of Extreme Long Sequence Transformer Models」で詳述されている。Ring Attentionとは異なるアプローチで長文脈LLMの学習を実現する。
All-to-All通信によるヘッド次元への再分配
Step1: シーケンスをGPUごとに分割
GPU0: [Token 0-255, All Heads]
GPU1: [Token 256-511, All Heads]
Step2: All-to-All通信でヘッド次元に再分配
GPU0: [Token 0-1023, Head 0-1]
GPU1: [Token 0-1023, Head 2-3]
Step3: 各GPUが全シーケンス×割り当てヘッドで注意計算
Step4: 逆方向All-to-Allで元のシーケンス分割に戻す
Ring AttentionとUlyssesの比較
| 比較項目 | Ring Attention | DeepSpeed Ulysses |
|---|---|---|
| 通信パターン | P2P（リング状） | All-to-All |
| 通信量 | O(N×d)×Nステップ | O(N×d) 2回 |
| ベストケース | NVLinkが細い環境 | 高帯域NVLink環境 |
| ヘッド数依存 | 低 | 高（ヘッド数≥GPU数必要） |
| 因果マスク処理 | 複雑（zig-zag必要） | シンプル |
| DeepSpeed統合 | 部分的 | ネイティブ |
パフォーマンス実績
論文記載ベンチマーク: GPT-3 6.7B〜175B、最大1Mトークン、64〜512×A100 80GB（NVLink+InfiniBand）。スループット: 標準手法比 2.5〜7倍（シーケンス長依存）。
Ulyssesが有利な条件
- ヘッド数 ≥ GPU数: ヘッド数がGPU数以上である必要がある（8GPU並列なら8ヘッド以上）
- 高帯域NVLink接続: All-to-All通信は全GPU間の通信が発生するため高帯域接続が必要
- DeepSpeedエコシステム採用済み: ZeROと同時利用でメモリ効率も向上
ハイブリッドアプローチ（2025）
「Ulysses+Ring」のハイブリッドが最もスケーラブルとされている。ノード内はNVLinkを活用したUlysses、ノード間はP2P通信が得意なRing Attentionを採用することで通信効率を最大化できる。DeepSpeed-UlyssesはAzure ML、Microsoft Phi-4訓練での採用が確認されている。
関連用語
- Ring Attention: Google/UCBが提案するP2P通信ベースのシーケンス並列化
- 3D Parallelism: データ・テンソル・パイプライン並列の組み合わせ
- DeepSpeed ZeRO: モデル状態のゼロ冗長最適化