Proxmox VE 3 ノードクラスタ構築 2026｜Ceph/ZFS

ハードウェア選定基準：高スループットと低レイテンシを実現するコンポーネント

3ノードクラスタのパフォーマンスは、CPUの計算能力以上に、I/Oパスにおけるネットワーク帯域とストレージのIOPS（Input/Output Operations Per Second）に制約されます。Cephのレプリケーション・トラフィックは、書き込み時にネットワークを介して他のノードへデータを転送するため、10GbE（Gigabit Ethernet）はもはや最低ラインであり、25GbE SFP28規格の採用が2026年現在の標準です。

CPUについては、単なるコア数だけでなく、PCIeレーン数とメモリ帯域が重要です。AMD Ryzen 9 9950X（16コア/32スレッド）のようなコンシューマーハイエンド、あるいはコストを許容できるならEPYC 9004シリーズを選択することで、Ceph OSDの計算負荷（Erasure Codingやリバランシング時のCPU消費）に耐えうる性能を確保できます。メモリは、Cephのキャッシュ（RocksDB/WAL）およびZFSのARC（Adaptive Replacement Cache）のために、ノードあたり最低でも128GB、理想的には256GB以上のDDR5 ECC RDIMMが必要です。例えば、Kingston製 KSM550D8/128G などの高密度ECCモジュールを使用することで、メモリ汚染によるデータ破損リスクを最小化します。

ストレージ・コンポーネントにおいては、書き込み耐性（DWPD）が極めて重要な指標となります。CephのOSDとして使用するドライブは、Samsung PM9A3やIntel D7シリーズのようなエンタープライズ向けNVMe SSDを選択してください。これらは、Write Intensiveなワークロード下でも、一定のIOPSを維持し続ける設計となっています。

推奨ノード構成スペック例（1ノードあたり）

• CPU: AMD Ryzen 9 9950X (5.7GHz Max Boost, TDP 170W)
• Memory: 256GB DDR5-5600 ECC RDIMM (8 x 32GB)
• Boot Drive: 2 x 960GB Samsung PM9A3 NVMe (ZFS RAID1)
• Ceph OSD: 4 x 3.84TB Enterprise NVMe SSD (PCIe Gen5対応)
• NIC: Mellanox ConnectX-6 Dx (Dual-port 25GbE SFP28)
• HBA/Controller: PCIe Gen5 x16 接続を想定したマザーボード

実装の落とし穴：ネットワーク分離とクォーラム崩壊の回避策

Ceftクラスタ構築において、最も頻繁に発生するトラブルは「ネットワーク・コンジェスチョン（混雑）」によるCorosyncのタイムアウトです。Proxmox VEのノード間通信を司るCorosyncプロトコルは、極めて低いレイテンシ（数ms以内）が要求されます。Cephのデータレプリケーションやリバランシングが発生した際、1本の物理ネットワークに管理トラフィックとストレージトラフィックが混在していると、帯域不足によりCoros引のパケット遅延が生じ、ノードが「死んだ」と誤判定されてフェンシング（強制再起動）が誘発されます。

これを防ぐためには、物理的または論理的なネットワーク分離（VLAN分割、あるいは物理NICの分離）が必須です。具体的には、以下の3つのトラフィックを完全に分離して設計する必要があります。

1. Management/Corosync Network: Proxmox GUI操作およびノード間同期用（1GbEでも可だが、低レイテンシ重視）。
2. Ceph Public Network: クライアント（VM）がCephオブジェクトにアクセスするための通信路。
3. Ceph Cluster Network: OSD間のレプリケーションおよびリカバリ（リバランシング）専用の通信路。

また、Jumbo Frame（MTU 9000）の設定ミスも致命的です。スイッチングハブと全ノードのNIC設定が完全に一致していない場合、パケットのフラグメンテーションが発生し、Cephの書き込みスループットが劇的な低下を招きます。

ネットワーク設計チェックリスト

• Corosyncトラフィック用の優先制御（QoS）または専用物理リンクの確保
• Ceph Cluster Networkへの帯域割り当て（25GbE以上の推奨）
• 全スイッチおよびNICにおけるMTU 9000の一貫した設定確認
• LACP（Link Aggregation Control Protocol）使用時の、ハッシュアルゴリズムによる負荷分散の検証
• スプリットブレイン防止のための、3ノード目が「Witness」として機能する構成の確認

運用最適化：電力管理、冷却、およびコストパフォーマンスの両立

24時間365日の稼働を前提とするホームラボ・クラスタでは、電力消費量と熱設計が長期的な運用コスト（OPEX）に直結します。3ノードの構成では、アイドル時でも合計で300W〜500W程度の電力を消費し続けることが珍しくありません。このため、UPS（無停電電源装置）の導入は「推奨」ではなく「必須」です。APC Smart-UPS SMT1500ICのような、ネットワーク管理カードを搭載したモデルを選定し、NUT (Network UPS Tools) を介してProxmox VEと連携させることで、停電検知時にCephの全OSDを安全にシャットダウンするシーケンスを自動化できます。

冷却面では、高密度のNVMe SSDや高性能CPUが発する熱を適切に排除する必要があります。Noctua NF-A12x25のような静音性と高静圧を両立したファンを採用しつつ、ケース内のエアフローを設計することで、サーマルスロットリング（温度上昇によるクロック低下）を回避します。

さらに、コスト最適化の観点からは、すべてを最新のGen5パーツで固めるのではなく、Cephのレプリケーション特性を利用して「世代の異なるストレージ」を混在させる戦略も有効です。例えば、キャッシュ層として高速なGen5 NVMeを使用し、容量層（Capacity Tier）として中古のエンタープライズ向けGen4 SSDを使用することで、GB単価あたりのパフォーマンスを最大化できます。

運用継続のための最適化指標

クラスタ構築における構成要素の比較検討

Proxmox VEを用いた3ノードクラスタ、特にCephをバックエンドに据えた共有ストレージ環境の設計において、最も困難なのは「ボトルネックの回避」と「コスト効率」の両立です。Cephはデータの複製（レプリケーション）をネットワーク経GB/s単位で行うため、CPU性能やメモリ容量以上に、ストレージのI/O性能とネットワーク帯域の整合性がシステムの安定性を左右します。

例えば、計算リソース（CPU/RAM）に過剰な投資を行いながら、ネットワークインターフェースを1GbEのまま放置してしまうと、ノード間のデータ同期が追いつかず、CephのOSD（Object Storage Daemon）がダウンしたり、最悪の場合はスプリットブレイン現象を引き起こしてクラスタ全体が停止するリスクが生じます。以下の比較表を用いて、自身の構築目的に適したコンポーネントの選定基準を確認してください。

1. ノード構成ティア別スペック比較

各ノードに搭載するCPUとメモリのバランスを決定するための指標です。

2. ストレージメディアの性能・コスト特性

Ceph OSDとして使用するドライブの選定は、書き込みレイテンシに直結します。

3. バックエンド・ネットワーク帯域マトリクス

Cephのレプリケーショントラフィックおよびライブマイグレーションの速度を決定する要素です。

4. 構築シナリオ別最適化マトリクス

利用シーンに応じた、リソース配分の優先順位を示します。

5. 電源供給とUPS（無停電電源装置）要件

クラスタの突然のシャットダウンは、Cephのデータ不整合やZFSのプール破損を招くため、重要です。

これらの比較から明らかなように、Proxmox VEでのクラスタ構築は、単一のパーツ性能を追うのではなく、ネットワーク、ストレージ、電力供給の三要素を「同期」させることが成功の鍵となります。特にCephを使用する場合、ネットワーク帯域がボトルネックとなってOSDの応答遅延（Slow Ops）が発生すると、クラスタ全体の可用性が著しく低下します。予算に応じて、どの層のスペックを妥協し、どこに投資すべきかの判断基準として活用してください。

よくある質問

Q1. 3ノードクラスタを構築する際の最小予算はどのくらいですか？

中古・新品のパーツを混在させた場合、合計で約35万円〜40万円程度を見込む必要があります。具体的には、Intel Xeon Scalable搭載の中古サーバーを各ノード7万円、メモリ（DDR4 ECC 64GB）に各2万円、さらにNVMe SSD（Samsung PM9A3等）のコストが加算されます。これに加え、10GbEスイッチやSFP+モジュールの費用も忘れてはいけません。

Q2. ネットワーク機器への追加コストを抑える方法はありますか？

Mellanox ConnectX-4などの中古NICを活用するのが最も効率的です。1枚あたり数千円から1万円程度で入手可能です。ただし、スイッチングハブには必ず10GbEに対応したUbiquiti UniFiシリーズや、MikroTikのCRSシリーズ等の低価格なL2/L3スイッチを選定してください。SFP+ DACケーブルを使用すれば、光トランシーバーを個別に買うよりコストを抑えられます。

Q3. CephとZFSレプリケーション、どちらを採用すべきですか?

ライブマイグレーション時のダウンタイムをゼロにしたいならCeph一択です。一方、1GbEネットワークしかなく、書き込み負荷が低い環境であれば、ZFS Replicationによる定期的なスナップショット転送の方が構築コスト（NIC費用等）を抑えられます。ただし、Cephを利用する場合はバックエンド・ネットワークとして最低でも10GbEの帯域確保が必須条件となります。

Q4. クラスタ構築に適したCPUの選び方を教えてください。

仮想マシン（VM）の同時起動数と、CephのOSDプロセスによる負荷を考慮し、物理コア数とスレッド数が重要です。AMD Ryzen 9 7950X（16C/32T）やIntel Core i9-14900Kのような多コアモデルが推奨されます。特にCephは各ディスクごとにプロセスが走るため、各ノードに最低でも8コア以上の余裕を持たせることが、安定したIOPSを維持する鍵となります。

Q5. 2.5GbE NICでもCephの運用は可能でしょうか？

小規模な実験環境なら動作しますが、実運用では推奨しません。Cephのデータ再配置（Rebalancing）が発生した際、2.5GbEでは帯域不足により、ノードのリカバリに数時間から数日を要し、その間クラスタ全体のパフォーマンスが著しく低下します。Mellanox ConnectX-4等の10GbE NICを使用し、MTU 9000（ジャンボフレーム）を設定してオーバーヘッドを削減するのが定石です。

Q6. コンシューマー向けNVMe SSDを使用する際の注意点は？

書き込み耐性（TBW）に細心の注意を払ってください。Samsung 990 Proなどの高性能モデルでも、Cephのジャーナル書き込みが集中すると寿命を早める可能性があります。可能であれば、WD Red SN700やエンタープライズ向けのUBON等、高耐久なドライブを選択してください。1ノードあたり2TB以上の容量を確保し、冗長性を維持できる構成が理想的です。

Q7. 3ノードのうち1台が故障した場合、サービスはどうなりますか？

残り2台で「クォーラム（定足数）」を維持できるため、稼働中のVMは継続可能です。しかし、さらにもう1台が停止すると、全ノードが読み取り専用状態になり、クラスタの整合性が失われます。これを防ぐために、Raspberry Pi 5などの低電力デバイスを「QDevice」として追加し、外部から投票権を持たせる構成にすることで、2ノード稼働時でも安定運用を実現できます。

Q8. UPS（無停電電源装置）は導入すべきですか？

Cephを利用するならほぼ必須です。書き込み中の突然の停電は、OSD内のデータ不整合やファイルシステムの破壊を招く致命的なリスクとなります。APC Back-UPS Proシリーズ等のUPSを使用し、NUT (Network UPS Tools) を介してProxmoxからシャットダウン信号を送れるように設定してください。少なくとも15分程度のバックアップ駆動時間が確保できる容量が目安です。

Q9. 今後のトレンドとしてAI（LLM）の活用は可能ですか？

十分に可能です。ProxmoxのPCIeパススルー機能を利用して、NVIDIA RTX 4090やL4などのGPUを特定のVMに直接割り当てることができます。2026年時点では、クラスタ内のリソースを動的に管理し、推論ワークロードが発生したノードへ計算資源を集中させる「AI-readyなホームラボ」の構築が、技術者の間で大きなトレンドとなっています。

Q10. Proxmox上でKubernetes（K8s）を運用するメリットは？

Cephによる共有ストレージがあるため、K8sのPersistent Volume（PV）管理が極めて容易になります。Ceph-CSIを利用すれば、Podの移動に伴うストレージのマウントも自動化されます。Proxmox VE 8.3環境に、軽量なk3sをデプロイし、マイクロサービスを冗長構成で動かす手法は、次世代のインフラ構築における標準的なアプローチです。

まとめ

本稿で解説したProxmox VEを用いた3ノードクラスタ構築における要点は以下の通りです。

• 3ノード構成の必須性: クォーラム（多数決）を維持し、Cephのデータレプリケーションを正常に機能させるための最小かつ安定した構成。
• 10GbEネットワークの重要性: Cephの再同期や書き込み時のレイテンシを防ぐため、バックエンド通信にはSFP+等の高速で独立したネットワークが不可欠。
• ハイブリッドストレージ戦略: OS層には信頼性の高いZFSを、共有データ層にはCephを用いることで、ローカル性能と分散共有の利点を両立。
• HA（高可用性）の実装: ノード障害時でもVMを自動再起動させるための、監視エージェントとフェンシング設定の最適化。
• ライブマイグレーションの活用: 物理ノードのメンテナンス時におけるサービス停止を回避するための、共有ストレージ基盤の整備。
• 電力管理（UPS）の統合: ノード故障や停電時のデータ破損を防ぐため、NUT等を用いた自動シャットダウンフローの構築。

次の一歩として、まずは既存のPCに10GbE NICを追加してネットワーク基盤を整備することから始めましょう。構築後は ceph osd perf コマンドを用いて、書き込み負荷時における各OSDのレイテンシ推移を定期的に計測し、ボトルネックの特定と解消に取り組んでください。