GPU Compute Mode/Persistence（ジーピーユーコンピュートモード）
NVIDIA非グラフィック設定。Compute Mode(nvidia-smi -c 0-3)・Default/Exclusive Process/Prohibited・Persistence Mode(nvidia-persistenced・daemon)・GPU Boost disable・Power Limit lock(nvidia-smi -pl 300W)・Clock Lock(nvidia-smi -lgc 2000)・MIG(Multi-Instance GPU・A100/H100)・vGPU(Virtual GPU・Enterprise license)・Compute 5.x〜12.x Capability・2026年AI推論運用必須。
概要
GPU Compute Mode/Persistence は、NVIDIA の非グラフィック設定で、サーバーや AI 推論ワークロードに最適化されたモードです。Compute Mode は nvidia-smi -c 0-3 で切替えられ、Default、Exclusive Process、Prohibited の 3 つの動作が選べます。Persistence Mode は nvidia-persistenced デーモンで有効化し、GPU がアイドル時にメモリを解放せず、起動遅延をゼロにします。2026 年には AI 推論運用が必須となるため、これらの設定はデータセンター・エッジサーバーで必須項目となっています。
主な特徴・仕組み
- Compute Mode 切替：
nvidia-smi -c 0（Default）→-c 1（Exclusive Process）→-c 2（Prohibited）でプロセス単位のリソース制御が可能。 - Persistence Mode：
nvidia-persistenced起動で GPU が常駐し、 0.5 秒以下の起動時間を実現。 - GPU Boost Disable：
nvidia-smi -pm 0でブースト制御を無効化し、安定したクロックを保証。 - Power Limit Lock：
nvidia-smi -pl 300Wで 300W 固定。2025 年にリリースされた Power Limit API で 10% の電力削減を実現。 - Clock Lock：
nvidia-smi -lgc 2000で 2000 MHz 固定。2026 年の AI 推論で 20% の性能向上を実証。 - MIG (Multi‑Instance GPU)：A100/H100 で 80GB メモリを 8 つに分割し、同時に 8 つのタスクを実行。
- vGPU (Virtual GPU)：Enterprise ライセンスで 12.5 vGPU を 1 台の GPU 上で稼働。
- Compute Capability 5.x〜12.x：RTX 4090（Compute 8.6）、RTX 5090（Compute 12.0）など、最新アーキテクチャで AI 推論を高速化。
- GPU Boost & Persistence 同時設定：RTX 4090 で 3,200 MHz ブースト＋Persistence で 0.3 秒の起動遅延を実現。
- メモリ保護：RTX 3090 で 24GB GDDR6X、DDR5-6000 互換性を保つため Persistence を必須に。
スペック比較表
| GPU | Compute Capability | CUDA コア | ベースクロック | ブーストクロック | メモリ | TDP | Power Lock | Clock Lock |
|---|---|---|---|---|---|---|---|---|
| RTX 4090 | 8.6 | 16,384 | 2,520 MHz | 3,200 MHz | 24 GB GDDR6X | 450 W | 350 W | 2,800 MHz |
| RTX 5090 | 12.0 | 20,480 | 2,700 MHz | 3,400 MHz | 32 GB GDDR7 | 520 W | 400 W | 3,200 MHz |
| NVIDIA A100 | 8.0 | 6,912 | 1,410 MHz | 1,530 MHz | 80 GB HBM2e | 400 W | 350 W | 1,500 MHz |
具体例・対応製品
- RTX 5090：2025 年に登場し、Compute 12.0 で 12.5 TFLOPS FP32 を実現。Persistence Mode で 0.2 秒の起動遅延。
- NVIDIA A100 80GB：MIG を 8 つに分割し、同時に 8 つの AI 推論ジョブを実行。Power Limit 300 W で 20% の省電力。
- RTX 3090 Ti：2024 年末にリリース、Compute 8.6、30 GB GDDR6X。Persistence と Clock Lock で 1.5 秒の起動遅延を削減。
- NVIDIA H100 80GB：2025 年に発表、Compute 12.0、80 GB HBM3e。MIG で 16 インスタンスに分割し、AI 推論スループットを 3 倍に。
- RTX 4090：2023 年に登場、Compute 8.6、16 GB GDDR6X。Persistence と Power Lock で 0.4 秒の起動遅延と 350 W 固定。
自作PCでの選び方・注意点
- ワークロードに合わせた Compute Mode を選択
- バッチ処理が多い場合は Exclusive Process。
- 高可用性が必要なら Prohibited を設定し、他プロセスとの競合を防ぐ。
- Persistence Mode の有効化
- サーバーや長時間稼働する AI 推論では必須。
nvidia-persistencedを systemd で自動起動設定。
- サーバーや長時間稼働する AI 推論では必須。
- Power Limit と Clock Lock のバランス
- 省電力が重要なら Power Lock を低めに設定し、Clock Lock で必要な性能を確保。
- MIG / vGPU の導入
- 1 台の GPU で複数ユーザーやタスクを分離したい場合は MIG（A100/H100）または vGPU（Enterprise ライセンス）を検討。
- BIOS/UEFI の GPU 設定
- PCIe スロットを PCIe 4.0/5.0 に設定し、最大帯域を確保。
- 冷却設計
- RTX 5090 の TDP 520 W 以上に対応するクーラーボードを選定。
- 電源ユニット
- RTX 5090 では 750 W 以上の 80+ Platinum PSU 推奨。
- ドライバーと CUDA ツールキット
- 最新の NVIDIA ドライバーと CUDA 12.x をインストールし、Compute Capability を確認。
- 監視ツール
nvidia-smiで Power/Clock のロック状態を定期的に確認。
- サーバー OS の最適化
- Linux で
nvidia-persistencedを systemd ユニットに登録し、起動時に自動で Persistence を有効化。
- Linux で
関連用語との違い
| 用語 | 主な用途 | 主要差異 |
|---|---|---|
| Compute Mode | GPU のプロセス単位リソース管理 | Persistence とは別にプロセス単位で GPU を占有 |
| Persistence Mode | GPU のアイドル時メモリ保持 | Compute Mode で制御されるリソースとは独立 |
| MIG | GPU を複数仮想インスタンスに分割 | vGPU と混同されがちだが、ハードウェアレベルで分割 |
| vGPU | 仮想化環境で GPU を共有 | ライセンスが必要で、MIG より柔軟なリソース割り当て |
| Power Limit Lock | 電力消費を固定 | Clock Lock と組み合わせることで性能と省電力を同時に最適化 |
よくある質問(FAQ)
Q1. Persistence Mode を有効にした場合、GPU の温度管理はどう変わりますか？
A1. Persistence Mode で GPU が常駐すると、GPU の温度は常に動作温度に近づきます。したがって、冷却システムは 70 °C を超えないように設計し、ファン速度を自動で上げる設定が推奨されます。
Q2. MIG と vGPU のどちらを選べば AI 推論に適していますか？
A2. AI 推論のスループット重視なら MIG（A100/H100）を推奨。MIG はハードウェアレベルで分割されるため、オーバーヘッドが少なく、推論ジョブの分離が容易です。vGPU は仮想化環境での柔軟性が高く、複数ユーザーが同時に GPU を共有する場合に適しています。
Q3. Compute Capability 12.0 の GPU は古いドライバーで動作しますか？
A3. 12.0 以降の Compute Capability をサポートする GPU は、NVIDIA ドライバー 535.x 以降でのみ動作します。古いドライバー（525.x 以前）では 12.0 GPU の一部機能が無効になるため、必ず最新ドライバーをインストールしてください。
まとめ
GPU Compute Mode/Persistence は、2026 年の AI 推論運用に不可欠な設定です。Compute Mode でプロセス単位のリソース管理を行い、Persistence Mode で GPU を常駐させることで起動遅延をゼロにし、Power Limit Lock と Clock Lock で電力と性能を最適化できます。MIG や vGPU を組み合わせることで、複数タスクやユーザーの同時実行が可能です。自作PC での構築時は、ワークロードに合わせた設定と冷却・電源設計を十分に検討し、最新のドライバーと CUDA ツールキットを導入することで、安定した AI 推論環境を実現できます。