NVIDIA Quantum-2 InfiniBand NDR 400Gb/s (2021年)（エヌビディアクオンタムツーインフィニバンドエヌディーアール）
2021年11月NVIDIA発表のQuantum-2 InfiniBand NDR (Next Data Rate) 400Gb/s switch・Mellanox 2019年買収後の InfiniBand世代継承・25.6 Tbps switch capacity (64 port × 400Gb/s) + 0.1μs base latency + RDMA + Adaptive Routing + SHARP (in-network reduction) ・HDR (200Gb/s) → NDR (400Gb/s) で2倍帯域化・Top500 SuperComputer 80%以上 (2024年Q4時点) で採用される HPC/AI Cluster Network defacto standard・H100 SuperPOD / Frontier Top1 / El Capitan等の主要SuperComputer Network基盤。
概要
NVIDIA Quantum-2 InfiniBand NDR (Next Data Rate) 400Gb/s switch platform は、2021年11月Supercomputing 2021 ConferenceでNVIDIA発表の第7世代 InfiniBand Network platform。Mellanox 2019年買収 ($6.9B) 後のNVIDIA Networking事業の主軸製品・前世代Quantum-1 HDR (High Data Rate・200Gb/s・2017年) から2倍帯域化のNDR (400Gb/s) を実現。Switch chip MQM9700-NS2F (25.6 Tbps switch capacity・64 port × 400Gb/s) + 0.1μs base latency (switch-to-switch wire latency) + Adaptive Routing (Congestion-aware path selection) + Self-Healing Network (Link failure auto-recovery) + SHARP (Scalable Hierarchical Aggregation Reduction Protocol・in-network MPI Allreduce/Broadcast) + RDMA (Remote DMA・CPU不介在Memory access) + Hardware DPU offload・Top500 SuperComputer Ranking で 2024年Q4時点 80%以上のSystemで採用されるHPC/AI Cluster Network defacto standard。H100 SuperPOD / Frontier Top1 SuperComputer (Oak Ridge National Lab・1.1 exaflop) / El Capitan (LLNL・2.0 exaflop・2024年Q4 Top500 1位) 等の主要SuperComputer Network基盤として中核採用。
主な特徴・仕組み
- Bandwidth: 400Gb/s per port = 50GB/s (HDR 200Gb/s の2倍)
- Switch Capacity: MQM9700 = 25.6 Tbps (64 port × 400Gb/s non-blocking)
- Latency: 0.1μs switch-to-switch wire latency (Ethernet 1.5μs vs 15倍低)
- RDMA: Remote DMA (CPU不介在のMemory access) ・GPU Direct RDMA対応
- SHARP: in-network MPI Allreduce/Broadcast offload (Switch内でreduction計算)
- Adaptive Routing: Congestion-aware path selection (Static routing vs throughput +30%)
- Self-Healing Network: Link failure 1-2sec auto-recovery
- Hardware DPU Integration: BlueField-3 DPU で encryption / packet processing offload
- Cable: OSFP (Octal Small Form-Factor Pluggable) ・最大2km光fiber接続
- Protocol: InfiniBand Architecture (IBA・IBTA standard 2000年〜)
- Adopters: Top500 Top10で80%採用・H100 SuperPOD / Frontier / El Capitan / Microsoft Azure Maia等
スペック比較表
| InfiniBand世代 | Year | Bandwidth | Switch Cap | Top500採用 |
|---|---|---|---|---|
| Quantum-2 NDR | 2021 | 400Gb/s | 25.6 Tbps | Top500 80% |
| Quantum-1 HDR | 2017 | 200Gb/s | 12.8 Tbps | 移行中 |
| EDR (Enhanced Data Rate) | 2014 | 100Gb/s | 7.2 Tbps | Legacy |
| FDR (Fourteen Data Rate) | 2011 | 56Gb/s | 4 Tbps | EOL |
| Quantum-X XDR | 2025予定 | 800Gb/s | 51.2 Tbps | 移行開始 |
具体例・対応製品
- NVIDIA MQM9700-NS2F (Switch): 1U Rack-mount・64 port NDR 400Gb/s・$50k-$80k
- NVIDIA ConnectX-7 HCA (Host Channel Adapter): PCIe 5.0 x16・400Gb/s 1-2 port・$2k-$3k/card
- NVIDIA Quantum-2 SuperPOD: H100 DGX SuperPOD Reference Architecture・$30M-$100M scale
- Frontier SuperComputer (Oak Ridge): 9,408 AMD MI250X GPU + Slingshot 11 (HPE)・Quantum-2世代 alternate
- El Capitan (LLNL・2024年Top1): 11,039 AMD MI300A APU + Slingshot 11・Quantum-2 alternative
自作PCでの選び方・注意点
NVIDIA Quantum-2 InfiniBand NDR は「HPC SuperComputer Network」「AI Factory GPU Cluster (NVLinkでScale-Up + InfiniBandでScale-Out)」「Financial Trading Low-Latency Network」用途のEnterprise tier 製品。Consumer / 自作PC範囲外・Switch 1台 $50k-$80k + HCA card $2k-$3k/枚で 個人購入対象外。Hyperscaler (Microsoft / Google / Oracle Cloud等) / Government / Academic SuperComputing / Frontier LLM Lab (OpenAI / Anthropic / xAI / Meta AI) の Standard Infrastructure。Top500 SuperComputer Ranking で 2024年Q4時点 80%以上採用 + Frontier / El Capitan等のTop1 SuperComputer Network基盤 + AI Factory deploy (NVL72 内NVLink + Rack間 NDR InfiniBand) でAI Frontier研究Infrastructure stack の中核。代替技術: Ethernet 800G (Spectrum-X / Cisco Silicon One / Arista 7800R3) がEnterprise AI Cloud Network市場で台頭中・Multi-vendor選択肢・Ultra Ethernet Consortium (UEC) で 2025-2027年標準化進行中。
関連用語との違い
- vs NVLink Switch System: NVLinkはNode内/Rack内 GPU直結 (Memory Coherent)・Quantum-2 NDR はNode間/Rack間 Network (Packet)
- vs Ethernet 800G (Spectrum-X): Quantum-2 NDR はInfiniBand固有protocol + RDMA optimize・SpectrumはStandard Ethernet互換
- vs HPE Slingshot 11: 両方HPC Network・SlingshotはHPE Cray独自Ethernet + RoCEv2 (Slingshot 11 採用Frontier / El Capitan等)
よくある質問（FAQ）
Q1: NDRとHDRの違いは？ A: NDR = Next Data Rate = 400Gb/s (2021年)・HDR = High Data Rate = 200Gb/s (2017年)。NDRはHDR 2倍帯域 + Switch capacity 2倍 (12.8→25.6 Tbps) + Latency半分 (0.2μs→0.1μs) でAI/HPC性能で大幅 advance。
Q2: SHARP (in-network reduction)とは？ A: MPI Allreduce / Broadcast計算 (各node部分結果を集約合計算する処理) を Switch内で実行 (各nodeのCPU/GPU不介在)・Distributed training (LLM data parallel) で gradient集約処理時間 50-70%削減・SHARP 対応Switch必須でNVIDIA Quantum-2 NDRのSelling point。
Q3: Quantum-2 vs Quantum-X (2025年予定) どう違う？ A: Quantum-X = 第8世代InfiniBand・XDR (eXtreme Data Rate) = 800Gb/s + Switch capacity 51.2 Tbps + Latency 0.05μs + SHARP v3 in-network FP8 reduction (LLM Training用). 2025-2026年Top500移行開始予想。
まとめ
NVIDIA Quantum-2 InfiniBand NDR = 2021年NVIDIA発表の第7世代400Gb/s InfiniBand switch platform。MQM9700 25.6 Tbps switch + 0.1μs latency + RDMA + SHARP + Adaptive Routing・Top500 80%採用・Frontier/El Capitan/H100 SuperPOD のHPC/AI Cluster Network defacto standard。