45万円AIインファレンスサーバー構成｜ローカルLLM推論最適化

はじめに：45 万円予算で構築するローカル AI インファレンスサーバーの意義

2026 年 4 月現在、大規模言語モデル（LLM）は単なる技術的な実験段階を超え、企業業務や個人の知識管理において不可欠なインフラへと進化を遂げています。クラウド API を利用する方法も依然として有力ですが、データプライバシーの懸念、通信コストの高騰、およびネットワーク依存による応答速度の不安定性といった課題が存在します。特に金融機関や研究機関、あるいは高度な個人開発者にとって、データを外部に送信せずに推論を行う「ローカル LLM」の実装は必須の要件となっています。本記事では、予算 45 万円という制限の中で、いかにして最も高速で信頼性の高い AI インファレンスサーバーを構築するかについて、部品選定から運用設定まで徹底解説します。

この構成の核となるのは、2026 年 1 月に市場に投入され、現在ではハイエンドワークステーションの標準的な選択肢となっている NVIDIA GeForce RTX 5090 です。32GB の GDDR7 メモリを備えたこの GPU は、FP16 や INT8 といった量子化技術を活用することで、従来の PC では不可能だった 70B パラメータ規模以上のモデルをローカル環境で動作させることを可能にします。また、AMD Ryzen 9 9950X プロセッサと 96GB の DDR5 メモリを組み合わせたシステムは、GPU メモリ（VRAM）が不足した際の CPU オフロード処理や、広大なコンテキストウィンドウの管理を円滑に支えるための強固な基盤を提供します。

45 万円という予算設定は、単にパーツを集めるだけでなく、24 時間 365 日の安定稼働と将来のマルチ GPU 拡張性を考慮した投資判断です。ここでは冷却設計や電力供給の冗長性にも言及し、長時間連続駆動における熱暴走リスクを排除する具体的な手法を提案します。さらに、vLLM や llama.cpp といった主要な推論フレームワークの設定最適化を通じて、理論上の性能限界まで引き出すための実用的なノウハウを提供します。本ガイドが、あなたにとってのローカル AI 運用環境構築において最適な指針となることを願っています。

AI 推論ワークロードの特性と予算配分の重要性

AI インファレンスサーバーを構成する際、ゲーム用 PC や一般的な事務用途とは根本的に異なる要件を満たす必要があります。特に重要なのが「帯域幅」です。LLM の推論速度は、モデルパラメータの読み込み速度と、計算結果の転送速度に大きく依存します。これを数値で示すと、VRAM の帯域幅（GB/s）がTokens/sec（1 秒間に生成されるトークン数）を決定する主要な因子となります。例えば、RTX 5090 が持つ GDDR7 メモリの理論帯域幅は約 1TB/s に達し、これは従来の GDDR6 と比較して大幅な向上です。この帯域幅の確保が、低遅延での対話型 AI 運用を実現する鍵となります。

また、ワークロードの種類によって最適化すべきポイントが異なります。バッチ処理や大量の文書生成を行う「スループット重視」の用途では、vLLM のような高度なメモリ管理を持つサーバー側ライブラリの利用が不可欠です。一方、チャットボットのように低遅延での応答が求められる「レイテンシ重視」の用途では、モデルサイズの縮小や量子化比率の調整が重要になります。45 万円の予算内でこれらを両立させるためには、VRAM 容量を最大化し、システムメモリ（RAM）でそれを補完するハイブリッド構成が最も合理的です。

さらに、長時間稼働による熱的安定性も無視できません。AI 推論は GPU を常時フル負荷に掛ける作業であり、冷却性能の不足はスロットリング（速度低下）を招き、結果としてコストパフォーマンスを下げてしまいます。そのため、本構成では Fractal Design Define 7 XL のような大型ケースを採用し、空冷とファン制御を最適化することで、静音性と排熱効率の両立を図ります。以下に示すパーツ選定は、これらのワークロード特性に基づいた厳密な計算結果を反映したものです。

CPU とマザーボード：拡張性と帯域幅のバランス設計

AI インファレンスサーバーにおけるプロセッサ選びは、GPU 依存度の高さから、ゲーム用途ほど重視されない傾向にありますが、システム全体のバックボーンとして極めて重要です。本構成では AMD Ryzen 9 9950X を採用します。これは 16 コア 32 スレッドを備え、最大動作クロック 5.7GHz（ブースト時）を記録する高性能 CPU です。TDP は 170W と設定されていますが、実際の推論負荷においては、データ転送や前処理を担当するため、GPU に比べて電力効率に優れています。特に、コンテキストウィンドウの拡大に伴うシステム RAM の管理タスクや、量子化されたモデルのデコード処理を CPU コアで分散させる場合、9950X の大規模並列処理能力が威力を発揮します。

マザーボードには ASUS ProArt X870E-CREATOR WIFI を選択しています。これは AMD の最新プラットフォームである AM5 ソケットに対応し、PCIe 5.0 x16 スロットを 2 つ搭載している点が最大の特徴です。X870E チップセットは、AI 推論サーバーとしての拡張性を担保するために設計されています。特に PCIe 4.0/5.0 の帯域幅確保と、複数 GPU を接続するための PCIe バイファケーション機能のサポートが重要です。RTX 5090 は物理的に非常に大型であり、マザーボードのスロット配置は慎重に行う必要がありますが、ProArt シリーズはプロフェッショナル向け設計により、拡張カード間の干渉を最小限に抑えるレイアウトを採用しています。

また、WiFi 6E/7 の標準搭載も、サーバー設置環境の柔軟性を高めます。有線接続が基本となりますが、ネットワーク配線の制約がある場合や、テスト環境での無線接続が必要な際にも対応可能です。BIOS 設定においては、RAM 速度を定格以上で安定動作させる XMP/EXPO プロファイルのサポートや、PCIe レーン分割の設定項目が充実しており、本構成のような高負荷用途において細かなチューニングを可能にします。2026 年時点での最新 BIOS フォームウェアは、RTX 5090 の電源管理機能である ATX 3.1 規格への完全対応を含んでおり、過電流保護や瞬間的なスパイク電力の吸収能力も強化されています。

メモリ構成：VRAM 不足を補うシステム RAM の戦略

本構成において最も特徴的なのが、G.Skill Trident Z5 DDR5-6000 CL30 メモリを 48GB モジュール ×2 スロットで合計 96GB 搭載している点です。通常のゲーム用途では 32GB や 64GB で十分とされますが、AI インファレンスサーバーにおいては、この容量増加に明確な役割があります。まず、大規模モデルのローディング時や、VRAM に収まりきらない場合の CPU オフロード処理において、システム RAM の容量はボトルネックとなり得ます。LLaMA-3.1 70B のような 700 億パラメータ規模のモデルを、FP16（16bit）精度で動作させるには VRAM に約 140GB が必要ですが、量子化技術を用いることでこれを 32GB〜48GB で運用することも可能です。

しかし、完全に VRAM に収まらない場合、llama.cpp や vLLM の設定により CPU メモリにモデルの一部を格納させる「オフロード」機能を利用します。この際、DDR5-6000 という高帯域メモリが重要な役割を果たします。DDR4 と比較して約 1.7 倍の帯域幅を持ち、データ転送遅延を大幅に低減します。特に CL30 のような低いレイテンシ値は、推論開始時のレスポンスや、コンテキストウィンドウ内の検索処理における速度維持に寄与します。96GB という容量は、複数のモデルをメモリ内にキャッシュしておくことや、広大な文脈（数十万トークン）を扱う場合のバッファ領域として余裕を持たせるために選定されています。

また、トリプルチャネル構成ではなくデュアルチャネルでの 96GB 運用は、コストと性能のバランスが最適化された選択です。AMD の Ryzen 9000 シリーズアーキテクチャでは、メモリコントローラの統合により、DDR5-5200 から DDR5-6400 の範囲で安定して動作します。本構成では BIOS で XMP プロファイルを有効にすることで、DDR5-6000 を安定稼働させます。この速度域は Ryzen 9000 シリーズの FCLK（Infinity Fabric）クロックとの相性も良く、システム全体のメモリ帯域を最大化します。24 時間稼働においては、メモリの熱的安定性も重要であるため、Trident Z5 の放熱フィンデザインとケース内の良好な風通しが不可欠です。

GPU と VRAM：RTX 5090 の LLM 推論性能详解

本構成の心臓部となるのは、NVIDIA GeForce RTX 5090 です。2026 年 4 月時点では、このカードは 32GB の GDDR7 メモリを搭載し、約 1TB/s のメモリ帯域幅を誇ります。この VRAM 容量と帯域幅の組み合わせが、45 万円予算でのローカル LLM 運用における最高峰のパフォーマンスを実現します。LLM の推論は、主にモデルパラメータを読み出し、計算結果を出力するプロセスで構成されます。この際、VRAM にすべてのデータが収まるかどうかが、CPU メモリを介した転送による遅延を防ぐ鍵となります。RTX 5090 の 32GB は、Q4_K_M（4bit 量子化）の Llama 3.1 70B モデルを VRAM に完全に収容し、推論速度を最大化することを可能にします。

GDDR7 メモリの特徴は、従来の GDDR6X と比較して単位あたりの転送効率と消費電力が改善されている点です。これにより、高帯域幅を維持しながら発熱を抑え、RTX 5090 のような高密度な GPU でも冷却設計の難易度を下げることが可能です。また、Tensor Core の第 X世代（2026 年版）は、INT4 や INT8 といった低精度計算において、FP16 と同等以上のスループットを達成するよう最適化されています。これにより、量子化モデルの推論において、速度低下を最小限に抑えつつ、VRAM 使用量を劇的に削減できます。

具体的な推論性能については後述のベンチマークセクションで詳述しますが、概算として Qwen 3 32B（Q4_K_M）であれば約 180 tokens/sec、Llama 3.1 70B（Q4_K_M）では約 65 tokens/sec の推論速度が期待されます。これはクラウド API と同等かそれ以上の性能であり、コスト面で優位性を持ちます。また、TensorRT-LLM や CUDA を利用した最適化により、バッチ処理時や多人数同時接続時のスケーラビリティも確保されています。32GB の VRAM は、将来的にさらにパラメータが増大するモデル（例：100B 級）への量子化運用でも、一定の余地を残す重要な容量です。

推論性能ベンチマーク：モデルサイズと量子化の影響分析

実際に本構成でどの程度の性能が出るかについては、主要なオープンソースモデルに対するベンチマーク結果が指標となります。ここでは代表的な 3 つのモデルを想定し、VRAM の使用状況や推論速度（tokens/sec）をシミュレーションします。特に注意すべきは、量子化（Quantization）のレベルによる VRAM 消費量と精度のトレードオフです。Q4_K_M は品質と容量のバランスが最も優れているとされ、多くのユーザーに推奨されます。FP16 のような高精度な浮動小数点計算では VRAM を大幅に消費しますが、推論速度も最大化されるため、用途に応じて使い分けることが求められます。

下表は、本構成（RTX 5090 32GB + Ryzen 9 9950X）における主要モデルの理論および実測に近い性能予測値を示しています。この数値は、vLLM や llama.cpp の標準的な設定、かつコンテキストウィンドウが中規模（4K〜16K トークン）の条件下での目安です。

※Mixtral は MoE（Mixture of Experts）アーキテクチャのため、有効パラメータ数は異なりますが、推論時ロードされる重みは全パラメータに近くなります。 上記の表から明らかなように、RTX 5090 の 32GB VRAM で Q4_K_M 量子化モデルを動作させることが最適解となります。Qwen 3 32B を Q5_K_M で動作させた場合、VRAM に約 80% を使用し、残りの RAM で補完する形で安定した推論が可能です。

また、コンテキストウィンドウの拡大も性能に影響します。長文の要約や、長期的なチャット履歴を扱う際、KV キャッシュ（Key-Value Cache）のサイズが増大し、VRAM 消費が加速します。本構成ではシステム RAM が 96GB あるため、仮想メモリとして RAM を使用して VRAM の不足分を補う設定（llama.cpp の --n-gpu-layers や vLLM の gpu_memory_utilization パラメータ調整）も可能です。これにより、VRAM が不足しても推論自体は継続でき、速度低下のみという形で許容範囲内に収めることができます。

サービング設定：vLLM と llama.cpp の最適化手法

構築したハードウェアを最大限に活用するためには、ソフトウェア側の設定が不可欠です。現在主流となっている vLLM、llama.cpp、Ollama にはそれぞれ得意分野があり、用途に応じて使い分ける必要があります。vLLM はバッチ処理やサーバーでの同時接続に強く、PagedAttention という技術により VRAM の断片化を防止し、高いスループットを実現します。一方、llama.cpp は CPU オフロードの柔軟性が高く、特定の GPU 設定や量子化ファイル（GGUF）との相性が良いです。

vLLM を利用する場合、Docker コンテナ内で起動するのが一般的です。本構成では、コンテナのリソース制限を適切に設定し、GPU メモリ利用率を 90% 程度に保つことが推奨されます。--gpu-memory-utilization 0.9というパラメータを設定することで、VRAM の不足によるクラッシュを防ぎつつ、キャッシュ領域を確保できます。また、スレッド数を CPU コア数（32）に合わせて調整することで、データ転送のオーバーヘッドを最小化します。

llama.cpp を利用する場合は、コマンドライン引数の設定が重要です。-n-proc 0は自動判断されますが、本構成では -t 16程度で CPU コアを使用させることで、推論タスクと並行して OS の応答性を維持できます。また、量子化モデルの使用時には、--gpu-layers -1として全層を GPU にロードするのではなく、VRAM 許容量に見合った層数（例：50 層中 48 層）で調整します。これにより、VRAM の残りを KVキャッシュ用に確保し、長いコンテキストウィンドウでの推論速度低下を防ぎます。

Ollama はより簡易な設定を好むユーザー向けですが、本構成のような高性能サーバーでは vLLM や llama.cpp の方が細かな制御が可能です。ただし、Docker 経由で Ollama を起動し、OLLAMA_MAX_LOADED_MODELSを複数に設定することで、モデルのホットスワップを容易に行えます。これらの設定は、2026 年現在の最新バージョン（vLLM 0.8, llama.cpp r3xxx など）に基づいた推奨値です。

マルチ GPU 拡張：将来の RTX 5090×2 構成への対応

本構成は単体での運用を前提としていますが、将来的に VRAM 容量とスループットを増強する「マルチ GPU」環境への拡張性も考慮されています。ASUS ProArt X870E-CREATOR WIFI は、PCIe スロットの配置において、2 つの RTX 5090 を物理的に収容できる設計となっています。しかし、RTX 5090 の巨大なサイズと発熱を考えると、ケース内のレイアウトは慎重に行う必要があります。Define 7 XL の内部空間は十分ですが、ファン配置や排気経路の再設計が必要です。

マルチ GPU 環境では、PCIe バス帯域幅の確保が課題となります。RTX 5090 は本来 PCIe 5.0 x16 を使用しますが、2 スロット同時に使用した場合、マザーボードのバイファケーション設定により x8/x8 へ分割されることが一般的です。本構成の X870E チップセットはこれをサポートしており、AI 推論においては PCIe 4.0 x8 と PCIe 5.0 x16 の差は、モデル読み込み速度を除くと推論速度に大きな影響を与えません。ただし、NVLink や NVSwitch のような専用インターフェースが RTX 5090 で利用可能か確認する必要があります。2026 年時点では、NVIDIA がプロ向けライン（H100/H200）とコンシューマーラインで NVLink を区別している可能性があり、RTX 5090×2 の場合は PCIe バス経由での通信が基本となります。

電力供給も重要な要素です。RTX 5090 単体の TBP（Total Board Power）は 450W〜500W と推測されます。これを 2 枚搭載すると、GPU だけで 1kW に達します。Ryzen 9 9950X の TDP 170W を加え、システム全体のピーク電力は 1200W を超える可能性があります。本構成で採用した Corsair HX1500i (1500W) は、この負荷を余裕を持って処理できる容量です。ATX 3.1 規格に対応しているため、GPU の瞬間的なスパイク電力（1.8 倍のピーク許容など）にも対応可能です。将来的に GPU を増設する場合は、電源ケーブルの配線とケース内の熱設計が最優先課題となります。

冷却システムと電力コスト計算：24 時間稼働の現実的アプローチ

AI インファレンスサーバーは、24 時間 365 日稼働することが想定されます。この場合、冷却システムの信頼性と電力コストの試算が極めて重要です。Fractal Design Define 7 XL はフルタワーケースであり、前面パネルの空気取り入れ口を開放しやすいため、大量の空気を供給できます。本構成では、リアファン（140mm×2）とトップファン（140mm×3）を排気用に配置し、前面から冷気を導入する正圧設計を採用します。これにより、内部のホコリの堆積を防ぎつつ、GPU の熱が溜まるのを抑制します。

RTX 5090 は高密度な発熱源であり、空冷であってもファン制御設定（Fan Curve）を慎重に行う必要があります。NVIDIA のドライバーまたは MSI Afterburner を使用し、GPU 温度が 85 度を超えないように制限しつつ、騒音レベルを抑えたプロファイルを作成します。特に静音性を重視する場合は、アイドル時はファンの回転数を下げ、負荷時だけ加速させる「サイレントモード」を活用します。また、CPU クーラーについては、360mm レンチドウォータークーラーの導入も検討可能です。9950X の発熱は大きいため、空冷でも対応可能ですが、24 時間高負荷の場合は水冷の方が温度安定性が高く、ノイズを抑えやすい傾向があります。

電力コストに関しては、本構成のピーク消費電力を 1.2kW（推定）とし、稼働率を 70% と仮定して計算します。1.2kW × 0.7 × 24 時間 = 約 20kWh/日となります。日本の電気料金を kWh あたり 35 円とすると、月額で約 21,000 円の電力コストが発生します。これはクラウド API の利用コストと比較して安価ですが、継続的な運用費として見積もっておく必要があります。また、ATX 3.1 規格の電源である Corsair HX1500i は、高負荷時でも高い変換効率（Platinum）を維持するため、無駄な電力消費を抑え、コスト削減に貢献します。

パーツ構成リストと価格詳細

最後に、本記事で提案する構成における具体的なパーツリストと概算価格を示します。2026 年 4 月時点の市場価格を反映した見積もりですが、為替や在庫状況により変動する可能性があることを付記します。合計金額は約 45 万円前後を目指しており、主要な AI 推論に特化した構成となっています。SSD はモデルデータの読み込み速度を考慮し、Gen4 の高速ドライブを選択しています。

※CPU クーラーは、予算を調整して空冷（Noctua NH-D15S）または水冷（Corsair H150i ELITE CAPELLIX）から選択可能です。また、SSD は 4TB でモデル格納用ですが、OS ドライブ用に 1TB を別途用意する場合は合計金額が変動します。本構成では主にモデルデータと推論結果を扱うため、大容量 SSD が優先されています。

まとめ：最適なローカル AI サーバーへの道筋

本記事を通じて、45 万円予算で構築可能な最速のローカル LLM インファレンスサーバーの構成を解説しました。要点を以下にまとめます。

• RTX 5090 の採用: 32GB GDDR7 メモリにより、Q4_K_M の大規模モデル（Llama 3.1 70B など）を VRAM 内で完結推論可能。
• CPU と RAM の役割: Ryzen 9 9950X と 96GB DDR5 は、VRAM 不足時のオフロードや広域コンテキスト管理を支える基盤となる。
• 冷却と電力: Corsair HX1500i (1500W) と Define 7 XL の組み合わせにより、24 時間稼働の熱的・電力的安定性を確保。
• ソフトウェア最適化: vLLM や llama.cpp のパラメータ調整により、ハードウェア性能を最大限に引き出す設定が必要。

この構成は、クラウド API のコスト削減とデータセキュリティの向上を実現する強力な手段です。特に、2026 年以降に登場するより大規模なモデルや、複雑なマルチモーダル処理においても、本サーバーが柔軟に対応できることを期待しています。ただし、パーツ価格の変動や技術進化に合わせて、定期的な見直しを行うことも重要です。

よくある質問（FAQ）

Q1. RTX 5090 は現在入手可能ですか？ A1. はい、2026 年 4 月時点では市場に流通しており、主要 PC パーツ販売店やオンラインストアで入手可能です。ただし、需要が高いため在庫状況は変動します。

Q2. 45 万円を切らないようにパーツを調整したいです。 A2. GPU を RTX 4090（24GB）に変更することでコストを削減できますが、VRAM 容量と帯域幅の低下により、70B モデルの推論速度は低下します。また、SSD の容量を 1TB に減らすことで約 3 万円ほど節約可能です。

Q3. 冷却のためファンを 5 枚以上取り付けるべきですか？ A3. Define 7 XL はファン取り付けスペースが豊富ですが、初期設定では 4-6 枚程度で十分です。余計なファンを追加するとノイズが増加するため、まずは標準構成で温度を確認し、必要に応じて追加してください。

Q4. Windows と Linux のどちらがおすすめですか？ A4. AI 推論サーバーとしては Linux（Ubuntu 24.04 LTS など）の方がドライバー管理や Docker 環境の構築が容易です。しかし、Windows WSL2 でも同等の性能が得られるため、用途に合わせて選択可能です。

Q5. モデルをアップデートする際、システムを再起動する必要がありますか？ A5. vLLM や Ollama の設定によりますが、通常はコンテナのリロードやプロセスの再起動で対応可能です。モデルファイルの置き換えのみで完了する場合もあり、完全な再起動は不要です。

Q6. 電力料金の節約方法はありますか？ A6. 稼働していない時間帯にスリープモードにするか、推論負荷が低い時に GPU のクロックを制限する設定（undervolt）を行うことで、消費電力を削減できます。また、ATX 3.1 電源の効率カーブを利用した省エネ設定も有効です。

Q7. マザーボードは B850 でも可能ですか？ A7. PCIe スロットの数と帯域幅が制限されるため、マルチ GPU 拡張を視野に入れる場合は X870E が推奨されます。単体運用であれば B850 でコストを抑えられますが、将来性を考慮すると本構成の ProArt をお勧めします。

Q8. メモリは 128GB に増設できますか？ A8. はい、48GB モジュールをさらに追加することで最大 192GB まで対応可能ですが、AMD チップセットのメモリコントローラの安定性上限を確認する必要があります。現状でも十分容量があるため、まずは 96GB で運用を開始してください。

Q9. SSD の読み込み速度が遅い場合、どうすればよいですか？ A9. M.2 スロットの PCIe 4.0/5.0 レーンを正しく接続しているか確認し、BIOS でドライブのモードが NVMe に設定されていることを確認してください。また、SSD のファームウェア更新も有効です。

Q10. このサーバーはゲーム用途にも使えますか？ A10. 可能です。RTX 5090 は非常に強力な GPU であり、2026 年時点の最新タイトルでも最高設定で動作します。ただし、AI インファレンスとゲームを同時に実行するとリソースが競合するため、用途を分けることをお勧めします。