NVIDIA NVLink Switch System (GPU間900GB/s 直結・2023年)（エヌビディアエヌブイリンクスイッチシステム）
2023年NVIDIA発表のNVLink Switch System・GPU間Direct 900GB/sec Memory Coherent通信を実現するGPU専用Network・H100 (NVLink 4.0・900GB/s) / B200 (NVLink 5.0・1.8TB/s) Hopper/Blackwell世代GPU向け・NVLink Switch Chip (NVSwitch 3rd-Gen・25.6T tx) 連結で256 GPU NVLink Domain Cluster構築可能・Grace Hopper GH200 / GB200 NVL72等のAI Factory Network基盤・PCIe 5.0 (128GB/s) vs 7倍以上の帯域でGPU間Memory Aggregation実現。
概要
NVIDIA NVLink Switch System は、2023年5月にCOMPUTEX 2023でNVIDIA発表の GPU間Direct 900GB/sec Memory Coherent通信を実現する GPU専用Network architecture。H100 (NVLink 4.0・GPU 1枚あたり900GB/s bidirectional) / B200 (NVLink 5.0・GPU 1枚あたり1.8TB/s bidirectional) のHopper / Blackwell世代GPU向け設計・NVLink Switch Chip (NVSwitch 3rd-Generation・25.6 Tbps switch bandwidth・チップ単体で 128 NVLink port) を複数連結することで256 GPU を1つのNVLink Domain Cluster (Memory address space共有・GPU Direct read/write全GPU間可能) として接続可能。Grace Hopper Superchip GH200 / GB200 NVL72 (Blackwell Rack-scale Architecture・72 B200 GPU connect via NVLink Switch) 等のAI Factory Network基盤として位置づけ・PCIe 5.0 (128GB/s) と比較で 7倍以上の帯域でGPU間Memory Aggregation実現。NVIDIA H100/B200のScale-Up architectureを支える Core hardware component。
主な特徴・仕組み
- Bandwidth: H100 NVLink 4.0 = 900GB/s bidirectional per GPU・B200 NVLink 5.0 = 1.8TB/s per GPU
- NVSwitch 3rd Gen: 25.6 Tbps switch chip・128 NVLink port・25.6Tbps non-blocking
- NVLink Domain: 1 Cluster あたり最大256 GPU・Memory Coherent (GPU間Memory address space共有)
- Latency: GPU間通信レイテンシ ~150ns (PCIe 5.0 ~500ns vs 3.3倍低)
- GB200 NVL72: Blackwell世代・72 B200 GPU + 36 Grace CPU + NVLink Switch Tray ×18・$3M / Rack
- Topology: Fat-tree topology・任意GPU pair間Full bandwidth保証
- Form Factor: 1U Rack-mount NVLink Switch Tray (16 NVSwitch Chip + 18 OSFP cage)
- Protocol: NVLink protocol (NVIDIA Proprietary・InfiniBand非互換)
- Use Case: Large LLM Training (GPT-4 1.8T parameter / Llama 4 等) ・H100 / B200 GPU Cluster必須
- Pricing: NVL72 Rack ($3M-$5M推定) ・個別NVLink Switch Tray $50k-$150k
スペック比較表
| GPU Interconnect | Bandwidth/GPU | Max GPU Domain | Latency | 用途 |
|---|---|---|---|---|
| NVLink Switch System (NVL72) | H100 900GB/s / B200 1.8TB/s | 256 GPU | ~150ns | AI Factory Training |
| PCIe 5.0 | 128GB/s | N/A (Host-bound) | ~500ns | Consumer GPU + DPU |
| InfiniBand NDR (Quantum-2) | 400Gb/s = 50GB/s | 数千 GPU | ~600ns | HPC Network |
| Ethernet 800G (Spectrum-X) | 100GB/s | 数千 GPU | ~1.5μs | AI Cloud Network |
| AMD Infinity Fabric (MI300X) | 896GB/s | 8 GPU | ~200ns | AMD GPU Cluster |
具体例・対応製品
- GB200 NVL72 Rack (Blackwell): 72 B200 GPU + 36 Grace CPU + 18 NVLink Switch Tray・$3M-$5M
- DGX H100 SuperPOD: 256 H100 GPU + NVLink Switch System・$30M+・OpenAI / Microsoft採用
- NVLink Switch Tray (個別販売): 1U Rack-mount・16 NVSwitch chip・$50k-$150k
- OEM採用: Dell / Supermicro / Lenovo / HPE / Cisco / Asus全Major OEM対応
- 競合 AMD Infinity Fabric: MI300X GPU間 896GB/s・8 GPU Domain上限・NVL72より小規模
自作PCでの選び方・注意点
NVIDIA NVLink Switch System は「Large LLM Training (10B+ parameter)」「AI Factory / Hyperscaler GPU Cluster」「Memory Coherent GPU間通信必要なHPC workload」用途の本命Network。Consumer GPU (RTX 4090 / 5090) ではPCIe 5.0 (128GB/s) のみ対応・NVLinkは Workstation/Data Center GPU (H100/B200/A100/H200) のみ・自作PC範囲では非適合。AI Factory (OpenAI / Anthropic / xAI / Meta AI / Google等のFrontier LLM Lab) でGPT-4 1.8T parameter / Llama 4等 巨大Model Trainingに必須Infrastructure。Inference Pipeline (vLLM等の LLM Serving) も大規模 (10B+ parameter) Model でTensor Parallel + Pipeline Parallel組合せでNVLink帯域がBottleneckとなり NVLink Switch System必要。一方GB200 NVL72 Rack ($3M-$5M) は個人 / 中小企業範囲外・Hyperscaler (AWS / Azure / GCP / Oracle Cloud) のGPU instance ($30-$80/H100/hour) 利用が現実的。NVL72は OpenAI Stargate Project / Microsoft Azure Maia / xAI Colossus等の AI Frontier Lab Standard Architecture。
関連用語との違い
- vs PCIe 5.0: NVLinkは900GB/s-1.8TB/s GPU Direct (Memory Coherent)・PCIe 5.0 は128GB/s Host-bound (Memory aggregation不可)
- vs InfiniBand NDR: NVLinkはNode内/Rack内 GPU直結・InfiniBand NDR はNode間/Rack間 Network (Scale-Out)
- vs Ethernet (Spectrum-X): NVLinkはNVIDIA Proprietary + Memory Coherent・EthernetはMulti-vendor + Packet switch
よくある質問（FAQ）
Q1: NVLink Switch System とNVLink (chip-to-chip) の違いは？ A: NVLink (chip-to-chip) = 単純なGPU 2-8枚間Point-to-Point接続 (NVIDIA DGX / HGX 等)・NVLink Switch System = NVSwitchチップを介した256 GPU Cluster規模Network。NVL72等のAI Factory Architectureで採用。
Q2: Memory Coherent通信とは？ A: 256 GPU全部のGPU Memory (1 GPU H100 = 80GB → 256 GPU = 20TB) を1つのMemory Address Spaceに統合・任意GPUから任意GPU Memoryに直接 read/write可能 (Software上は1つの巨大GPUとして扱える)。GPT-4等の超大規模Model Memoryに最適化。
Q3: 自作PC範囲で代替手段は？ A: NVLinkはData Center GPUのみ・自作PC範囲ならPCIe 5.0 / Thunderbolt 5 (80Gbps・PCIe 4.0 x4相当) ・Multi-GPU構成はSLI/NVLink Bridge (Workstation A100/H100のみ・Consumer Geforceは2020年Ampere世代以降サポート終了)。
まとめ
NVIDIA NVLink Switch System = 2023年NVIDIA発表のGPU間Direct 900GB/s-1.8TB/s通信GPU専用Network。NVSwitch 25.6T txで256 GPU Domain構築・H100/B200/GB200 NVL72のAI Factory基盤・PCIe 5.0比7倍以上の帯域でMemory Coherent通信実現するFrontier LLM Training必須Infrastructure。