RDMA/InfiniBand（アールディーエムエーインフィニバンド）
超低遅延リモートメモリアクセス。NVIDIA Quantum-2 InfiniBand NDR 400Gb/s・ConnectX-7/8 HCA・RoCE v2(Ethernet)・iWARP・GPUDirect RDMA・NCCL通信・AI学習クラスタ必須、DGX GB200 NVL72 Hopper Quantum-2配線・$30k-$100k単価、2026年HPC/AI基盤の心臓部。
概要
RDMA/InfiniBandは、リモートメモリへの直接アクセスを可能にするネットワーク技術である。通信レイテンシを数ナノ秒に抑え、帯域幅は400Gb/sを超える高速化が実現されている。2026年に登場したNVIDIA Quantum-2は、InfiniBand NDR 400Gb/sを採用し、AI学習クラスタの基盤として不可欠な存在となっている。
主な特徴・仕組み
- 低レイテンシ：CPUオーバーヘッドを排除し、1µs以下の応答時間を実現。
- 高帯域幅：ConnectX-7/8 HCAは、1ポートあたり200Gb/sを提供。
- GPU直結：GPUDirect RDMAにより、GPUメモリ間でのデータ転送が高速化。
- プロトコル多様性：RoCE v2（Ethernet）とiWARPの両方をサポート。
- スケーラビリティ：NCCL通信を利用した分散学習で、数千ノードに拡張可能。
スペック/製品比較表
| 製品名 | 最大帯域幅 | レイテンシ | 主要プロトコル | 価格帯 |
|---|---|---|---|---|
| NVIDIA Quantum-2 | 400Gb/s | 1µs | RoCE v2, iWARP | ¥3,000,000 |
| ConnectX-7 | 200Gb/s | 2µs | RoCE v2, iWARP | ¥1,200,000 |
| ConnectX-8 | 200Gb/s | 1.5µs | RoCE v2, iWARP | ¥1,500,000 |
| InfiniBand NDR 400Gb/s | 400Gb/s | 1µs | RoCE v2 | ¥2,800,000 |
| GPUDirect RDMA | 100Gb/s | 1µs | RoCE v2 | ¥1,000,000 |
具体例・対応製品
- DGX GB200 NVL72 Hopper：Quantum-2を搭載し、1TB GPUメモリを備える。
- HPE Apollo 6500 Gen10：ConnectX-8を採用し、256GB DDR5-4800をサポート。
- Dell EMC PowerEdge R7525：InfiniBand NDR 400Gb/sを内蔵し、1PB SSDを接続可能。
- NVIDIA DGX A100：GPUDirect RDMAを利用し、NCCLで高速分散学習を実現。
- Supermicro SuperServer 2029GP-TR：RoCE v2対応で、10GbEから400GbEまで拡張可能。
自作PCでの選び方・注意点
- 互換性の確認：マザーボードにInfiniBandポートがあるか。
- 電源容量：400Gb/s HCAは最大350Wを消費。
- 冷却性能：1.5µsレイテンシを維持するために、CPUとGPUの温度を30℃以下に。
- ケーブル品質：光ファイバーは5m以内で、損失が0.5dB以下。
- ソフトウェアスタック：Linux kernel 5.10以上、RDMAドライバを最新に。
- ネットワークスイッチ：NDR 400Gb/sに対応したスイッチを選択。
- ストレージ接続：NVMe SSDは1TB以上を推奨。
- 監視ツール：latency-checkerとbandwidth-testを定期実行。
- 電源安定化：UPS 10kVA以上を推奨。
- 予算管理：単価は¥30k〜¥100k。
関連用語との違い
- Ethernet：レイテンシが10µs以上で、GPU直結が不可。
- PCIe 5.0：帯域幅は32Gb/sで、RDMAのようなオーバーヘッドが存在。
- NVMe over Fabrics：ストレージ向けで、レイテンシは数十µs。
- RoCE v2：InfiniBandの上位プロトコルで、IPベース。
- iWARP：TCP/IPベースで、レイテンシはRoCEより高い。
よくある質問
Q1. RDMAはどの程度レイテンシを削減できるのか？
A1. 典型的に1µs以下に抑えられ、CPUオーバーヘッドがほぼゼロになる。
Q2. 2025年に登場した新しいHCAは何が変わったのか？
A2. 2025年にリリースされたConnectX-8は、1ポートあたり200Gb/sを維持しつつ、レイテンシを1.5µsに短縮。
Q3. 自作PCでInfiniBandを導入する際の最大コストは？
A3. HCA本体が¥1,200,000〜¥1,500,000、スイッチが¥2,000,000以上になることが多い。
まとめ
RDMA/InfiniBandは、2026年のAI学習クラスタやHPC基盤で不可欠な技術である。NVIDIA Quantum-2やConnectX-7/8のような最新HCAは、400Gb/sの帯域幅と1µs以下のレイテンシを実現し、GPUDirect RDMAとNCCLでGPU間通信を最適化。自作PCで導入する際は、電源容量、冷却性能、ソフトウェアスタックを十分に検討し、予算と性能のバランスを取ることが重要である。次世代のデータセンターでは、InfiniBandがネットワークの心臓部としてさらに進化を遂げると予測される。