NVMe-oF over TCP（エヌブイエムイーオーエフオーバーティーシーピー）

概要

NVMe-oF over TCP(エヌブイエムイー オーエフ オーバー ティーシーピー、NVMe over TCP)は、NVM Express Inc. が 2020 年 11 月に NVMe over Fabrics(NVMe-oF)2.0 仕様で追加した、NVMe SSD をTCP/IP ネットワーク経由で共有するためのトランスポート層規格です。NVMe-oF 自体は 2016 年に NVM Express 1.0 として標準化され、当初は RDMA(Remote Direct Memory Access、リモートダイレクトメモリアクセス)を必須としていました。

NVMe-oF 1.0 の RDMA 必須要件は、性能(遅延 10-30μs、ネットワーク帯域 100Gbps クラス)を最優先する HPC / 大規模 AI 学習用途には適していましたが、専用 RDMA 対応 NIC(Mellanox ConnectX、Intel E810、Pensando Capri 等)+ RDMA 対応スイッチ(Mellanox Spectrum、Cisco Nexus 等)+ InfiniBand / RoCE(RDMA over Converged Ethernet)/ iWARP のいずれかの専用ネットワーク + 専門的な運用知識が必要で、一般的なエンタープライズ / クラウド環境には導入ハードルが高すぎました。

NVMe-oF 2.0 で追加された TCP/IP トランスポート層は、これらの問題を一気に解決しました。標準 Ethernet ネットワーク + 通常の NIC + 標準 TCP/IP スタックで動作し、追加ハードウェア / 専門運用知識ほぼ不要、Linux カーネル(5.0+)/ Windows Server 2022 / VMware vSphere 7.x でネイティブサポート、ファイアウォール / NAT / VPN 越しの動作も可能、というクラウド / エンタープライズ SAN 環境への導入が極めて容易な規格となりました。

性能は RDMA 版に劣るものの、TCP/IP オフロードエンジン(TOE)・SmartNIC + DPU 対応・kernel TCP zero-copy 等の最適化により、実用レベルの性能を発揮します。一般的な指標では、NVMe-oF over TCP の遅延は 100-200μs、IOPS は 100-500K(per ターゲット)、ネットワーク帯域は 25-100Gbps クラスで動作可能です。これは Fibre Channel(FC)SAN(遅延 200-500μs)を上回る性能で、iSCSI(遅延 500-1000μs)を大きく上回ります。

主な採用は、AWS S3 / EBS / FSx / ONTAP / Azure Files / NetApp ONTAP for Azure / GCP Filestore / Hyperdisk・VMware vSAN(8.0+)/ NetApp ONTAP / Pure Storage FlashBlade / Dell EMC PowerStore / PowerScale / Hitachi Vantara VSP / IBM FlashSystem / Pavilion HyperParallel・Lightbits Labs(NVMe-oF/TCP 専業ベンチャー)等で、2022-2024 年に急速に採用が広がっています。Linux 5.0+ カーネル / Windows Server 2022 / VMware vSphere 7.x で標準サポート、Intel / AMD / Pensando / NVIDIA BlueField DPU でも対応、データセンタ + クラウドストレージの主流規格として定着しています。

主な特徴・仕組み

• 規格: NVM Express Inc. NVMe-oF 2.0 仕様(2020 年 11 月)に追加。
• トランスポート層: 標準 TCP/IP(Ethernet 物理層上)。
• 性能(遅延): 100-200μs(RDMA 版 10-30μs より遅い)。
• 性能(IOPS): 100-500K per ターゲット、複数並列で 1M+ 達成可能。
• 性能(帯域): 25-100Gbps クラス、25/50/100/200/400GbE 対応。
• ハードウェア要件: 標準 NIC + 通常 Ethernet スイッチ、RDMA 不要。
• ソフトウェア: Linux 5.0+ カーネル(nvmet-tcp / nvme-tcp)、Windows Server 2022、VMware vSphere 7.x。
• 認証 / 暗号化: TLS 1.3 暗号化標準対応(NVMe-oF 2.0 機能)。
• 主要採用: AWS / Azure / GCP / VMware / NetApp / Pure Storage / Dell EMC / IBM。
• ベンダー: Lightbits Labs(専業)、Pure Storage、Dell EMC、IBM、Pavilion。
• DPU 対応: NVIDIA BlueField / AMD Pensando / Intel IPU でハードウェアオフロード可能。

NVMe-oF トランスポート層比較

自作PCユーザー向けの注意点

NVMe-oF over TCP はエンタープライズ SAN / クラウドストレージ向け規格で、コンシューマ自作 PC ユーザーが直接利用する対象は限定的です。ただし、ホームラボ用途で 25GbE / 100GbE スイッチ + Linux サーバ + NVMe SSD があれば、自宅で NVMe-oF over TCP ターゲット / イニシエータを構築して学習可能です。

Linux 5.0+ で nvmet-tcp(Target、サーバ側)と nvme-tcp(Initiator、クライアント側)が標準サポートされており、特別なハードウェア不要で実験できます。Mikrotik 25GbE スイッチ(¥40,000-80,000)+ Mellanox ConnectX-4 25GbE NIC(中古 ¥10,000-20,000)+ Linux サーバの組み合わせで自宅 SAN を構築可能で、業務用途の学習 + Kubernetes ストレージ環境構築 + ML 学習データの集中管理などに活用できます。

関連用語との違い

• NVMe-oF over RDMA: RDMA トランスポート版、より低遅延だが導入難。
• iSCSI: 旧世代のブロックストレージ over IP、NVMe-oF/TCP より遅い。
• Fibre Channel(FC): 従来の SAN 規格、専用機材必須で縮小中。
• NFS / SMB: ファイルストレージ over IP、NVMe-oF はブロックストレージで別レイヤ。
• iSER(iSCSI Extensions for RDMA): iSCSI の RDMA 版、NVMe-oF が後継的。

よくある質問(FAQ)

Q1: NVMe-oF over TCP と iSCSI どちらが優れていますか? A: 性能 + 機能で NVMe-oF over TCP が圧倒的に優位です。NVMe-oF/TCP は遅延 100-200μs、iSCSI は 500-1000μs と 5 倍以上の差があり、IOPS も NVMe-oF/TCP のほうが高速です。新規構築では NVMe-oF/TCP を選ぶのが推奨されます。

Q2: なぜ TCP/IP 版が急速に普及したのですか? A: 主因は導入容易性です。RDMA 版は専用 NIC + 専用スイッチ + 専門知識が必要でしたが、TCP/IP 版は標準 Ethernet で動作し、Linux / Windows / VMware で即利用可能なため、クラウド / エンタープライズで採用が容易でした。

Q3: コンシューマ自宅で NVMe-oF/TCP を試す方法は? A: Linux ホスト(Ubuntu / Debian)+ NVMe SSD で nvmet-tcp ターゲットを設定し、別の Linux クライアントから nvme connect コマンドで接続できます。25GbE / 100GbE NIC + スイッチが理想ですが、1GbE でも実験は可能で、業務知識習得に有用です。

まとめ

• NVMe-oF 2.0(2020)で追加された TCP/IP トランスポート
• 標準 Ethernet + 通常 NIC で動作、RDMA 不要
• 遅延 100-200μs、iSCSI より 5 倍高速
• AWS / Azure / GCP / VMware / NetApp 等で 2022-2024 年に急速普及