ローカルLLM推論向けGPU選び｜VRAM容量と量子化の実際

Llama-3 70Bクラスの巨大なパラメータを持つモデルを、オフライン環境のローカルPCで快適に動作させるには、GPUのVRAM（ビデオメモリ）容量が最大のボトルネックとなります。RTX 4090（24GB）では量子化なしでの実行は不可能であり、GGUF形式のQ4_K_Mといった量子］化手法を用いたとしても、推論速度を維持しながらモデルをメモリに収めるための緻密な計算が不可欠です。最新のRTX 5090（32GB）を選択肢に入れるか、あるいは中古のRTX 3090（24GB）を2枚搭載したマルチGPU構成で合計48GBを確保するか、コストとパフォーマンスのトレードオフは非常に複雑です。NVLinkによる高速なP2P通信が制限された現在のPCIe環境下において、スロット間の帯域幅が推論速度（tokens/s）に与える影響や、量子化ビット数とVRAM消費量の具体的な関係性を正しく理解しなければ、高額なハードウェア投資を無効にするリスクがあります。構成別のコスト効率と、推論性能を最大化するためのGPU選定基準を徹底検証します。

ローカルLLM推論におけるVRAM容量の決定論的計算式

ローカルLLM（Large Language Model）を動作させる際、最も重要となるハードウェア指標は演算性能（TFLOPS）ではなく、ビデオメモリ（VRAM）の総容量とメモリ帯域幅である。LLMの推論プロセス、特に「生成（Decoding）」フェーズは、モデルの重みをメモリからプロセッサへ逐次読み出す作業がボトルryptとなる「Memory Bandwidth Bound」な特性を持つためである。

モデルが要求するVRAM容量を算出するには、パラメータ数、量子化ビット数、およびコンテキスト長（KV Cache）の3要素を考慮した計算式を用いる必要がある。基本となる計算式は以下の通りである。

$$ \text{Required VRAM (GB)} \approx \left( \frac{\text{Parameters} \times \text{Bits per weight}}{8} \right) + \text{KV Cache Overhead} + \text{System/Buffer Margin} $$

例えば、Llama-3 70BモデルをGGUF形式の「Q4_K_M（約4.9bit/param）」で運用する場合、重み自体には約43GB（$70 \times 4.9 / 8$）の容量が必要となる。ここに、コンテキスト長（Context Window）に比例して増大するKV Cache（Key-Value Cache）の容量を加算しなければならない。128kトークンの長いコンテキストを扱う場合、FP16精度でのKV Cacheは数GBから十数GBに達することもあり、これがVRAM不足による「モデルの分割（Offloading）」や「速度低下」の主因となる。

量子化技術（Quantization）は、この容量問題を解決する極めて有効な手段である。4bit量子化（Q4_K_M等）を用いることで、FP16（16bit）と比較してメモリ使用量を約1/4に圧縮しつつ、Perplexity（言語モデルの精度指標）の低下を最小限に抑えることが可能だ。しかし、量子化ビット数を下げすぎると、推論の論理性や知識の保持能力が著しく損なわれるため、VRAM容量と精度のトレードオフを見極める判断力が求められる。

GPU構成の選択肢：RTX 5090単体か、中古3090マルチGPUか

2026年現在のローカルLLM環境において、ユーザーが直面する最大の選択は「最新のハイエンド単体GPU」か「旧世代の複数枚構成」かの二択である。この判断には、VRAM容量だけでなく、PCIe帯域とNVLink（またはその代替技術）の有無、そして電力供給能力が深く関わる。

NVIDIA GeForce RTX 5GB 5090は、32GBのGDDR7メモリを搭載しており、単体での推論能力において圧倒的な優位性を持つ。GDDR7の採用によりメモリ帯域幅は1,000 GB/sを超え、Llama-3 8Bクラスのモデルであれば150 tokens/sを超える超高速なレスポンスを実現する。また、単体で32GBを確保しているため、Q4_K_M精度の70Bモデルでもコンテキスト長をある程度確保した状態で動作可能である。

一方で、コスト効率を重視する場合、中古のGeForce RTX 3090（24GB）を2枚搭載するマルチGPU構成が有力な選択肢となる。RTX 3090×2枚構成では合計48GBのVRAMを確保でき、70Bモデルを余裕を持ってロードできる。しかし、ここには「PCIe帯域のボトルネック」という罠が存在する。最新のRTX 5090世代ではNVLink（GPU間高速通信）のコンシューマ向け利用が事実上制限されており、2枚のGPU間でレイヤーを分割して推論を行う場合、データ転送はPCIeバスを経由することになる。

もし、使用するマザーボード（例：ASUS ROG Maximus Z890 Extreme）のレーン分割がx16/x0ではなく、x8/x8やx8/x力x4といった構成になっている場合、GPU間の通信遅延が推論速度（tokens/s）を著しく低下させる。特にOllamaやllama.cppを用いて複数のGPUにモデルを分散配置する際、PCIe Gen 5 x8の帯域であっても、重みの転送待ちによる「隙間時間」が生じ、単体GPUでの実行よりもスループットが低下するケースがある。

実装における落とし穴：KV Cacheの肥大化とメモリ・オフローディング

LLMを実際に稼働させる際、多くのユーザーが「モデルの重みがVRAMに収まっているから大丈夫だ」という誤解から、実行時にクラッシュや極端な速度低下に遭遇する。この原因の多くは、推論プロセス中に動的に生成される「KV Cache（Key-Value Cache）」の計算漏れにある。

KV Cacheとは、Transformerモデルが過去のトークン情報を保持するために使用するメモリ領域である。これはコンテキスト長（入力トークン数＋生成トークン数）に比例して線形に増大する。例えば、Llama-3 70BをQ4_K_Mで動かしている際、重みだけで約40GBを使用しているとしても、コンテキスト長を32kから128kへと拡張した瞬間、KV Cacheの容量は数GB単位で膨れ上がり、VRAMの限界（例：RTX 5090の32GB）を超過させる。

この境界線を超えると、llama.cppなどのバックエンドエンジンは「GPU Offloading」を開始する。これは、入り切らないモデルのレイヤーをシステムメモリ（DDR5 RAM）へ退避させる仕組みである。しかし、ここには致命的なパフォーマンス低下が伴う。GPU内のGDDR7/GDDR6Xの帯域幅（数百〜千GB/s）に対し、CPU側のDDR5-6400（数十GB/s）は極めて低速であるため、一部のレイヤーがメインメモリに存在するだけで、推論速度は1/10以下（例：10 tokens/s $\rightarrow$ 1 token/s）にまで墜落する。

また、Ollamaなどの抽象化されたツールを使用する場合、バックグラウンドでのリソース管理により、ユーザーが意図しないタイミングでメモリ不足が発生することがある。実装上の対策としては、以下のチェックリストを推奨する。

• コンテキスト長の事前計算: 使用予定の最大トークン数におけるKV Cache容量を算出しておくこと。
• Flash Attentionの有効化: llama.cpp等の設定でflash_attn=trueを適用し、メモリ使用効率を最適化すること。
• レイヤー分割の監視: nvidia-smiを用いて、各GPUのVRAM使用率が物理限界（90%程度）に達していないか確認すること。
• スワップ発生の回避: システムメモリへの退避が発生した場合、即座に量子化ビット数を下げるか、コンテキスト長を短縮する設計変更を行うこと。

パフォーマンス・コスト・運用の最適化戦略

ローカルLLM環境の構築における最終的な最適解は、単なる「スペックの追求」ではなく、「目的とするモデルサイズ」と「許容できる予算・電力」の交差点を見つけることにある。運用フェーズでは、計算リソースの投資対効果（ROI）を最大化するための戦略的判断が求められる。

まず、最もコスト効率が高いのは「中古RTX 3090を用いたマルチGPU構成」である。これは前述の通り、48GB以上のVRAMを比較的安価に構築できるため、70B級モデルの運用において唯一の現実的な解となる。ただし、この構成には「電源ユニット（PSU）の増強」と「熱設計」という追加コストが伴う。RTX 3090はピーク時に350W〜400Wを消費し、2枚構成ではGPUだけで800W近い電力を要する。これにCPUやファン、冷却系の負荷を加えると、1200Wクラスの80PLUS PLATINUM認証を受けた電源ユニット（例：Corsair AX1600i）が必須となる。

次に、「RTX 5090単体構成」は、開発者や研究者にとっての「低遅延・高スループット」な環境として極めて価値が高い。モデルの重みを分割してGPU間を通信させるオーバーヘッドを排除できるため、小規模〜中規模モデル（8B〜30B）の高速な反復実験において、マルチGPU構成を圧倒する応答性能を実現する。

運用コストを最適化するための比較指標を以下に示す。

結論として、ローカルLLMのGPU選びに「正解」はない。しかし、Q4_K_M精度の70Bモデルを「実用的なコンテキスト長（8k以上）」で動かしたいのであれば、RTX 5090による単体突破か、PCIe帯域のボトルネックを許容した上でのRTX 3090デュアル構成かという、明確な技術的トレードオフを選択することになる。予算が許す限りはVRAM容量を最優先し、その上で物理的な電力供給と冷却能力（Noctua製ファンによるケース内エアフローの確保等）を設計に組み込むことが、安定したAI推論環境を構築するための唯一の道である。

主要構成案とハードウェアスペックの徹底比較

ローカルLLM環境の構築において、最も議論が分かれるのは「最新のフラッグシップGPUを単体で運用するか」あるいは「中古の旧世代GPUを複数枚組み合わせてVRAM容量を稼ぐか」という点です。2026年現在、RTX 5090は32GBという大容量なGDDR7メモリを搭載しており、単体での推論能力は極めて高いものの、15万円〜20万円を超える高額な価格設定と、450Wを超える膨大なTGP（Total Graphics Power）が導入の障壁となります。

一方、中古市場で流通しているRTX 3090は、24GBのVRAMを搭載しており、2枚構成にすることで48GBという広大なメモリ空間を確保できます。Llama-3 70BクラスのモデルをGGUF形式のQ4_K_M量子化で動作させる場合、モデルウェイトとKVキャッシュを合わせて約40〜45GBのVRAMが必要となるため、単体GPUでは物理的に不可能な領域です。

以下の表では、検討対象となる主要なGPUスペックを整理しました。

次に、モデルのパラメータ数と量子化ビット数（Quantization）が、要求されるVRAM容量にどのような影響を与えるかを具体化します。llama.cppやOllamaを用いた推論では、GGUF形式の量子化レベルを選択することで、精度を維持しつつメモリ消費を抑えることが可能です。

70B級のモデルを快適に動かしたいユーザーにとって、重要なのは「速度（Tokens/s）」と「コスト」のトレードオフです。RTX 5090単体では、4bit量子化された70Bモデルはメモリ不足でロードすらできません。このため、予算が許す限りVRAM容量を優先した構成案を選択することになります。

マルチGPU構成を検討する際、見落としがちなのが電源容量と冷却性能です。特にRTX 3090を2枚使用する場合、ピーク時の消費電力はGPU単体で700Wを超え、CPUやその他のコンポープリメントを含めると1000Wクラスの電源ユニット（80PLUS PLATINUM推奨）が必須となります。また、隣接するカード間の排熱処理も極めて困難です。

最後に、マルチGPU構成における技術的なボトルネックについて触れておきます。現行のコンシューマ向けプラットフォームでは、NVLinkによる高速なGPU間通信が廃止（または制限）されているため、llama.cpp等のライブラリを通じたレイヤー分割推論は、PCIeバスの帯域幅に強く依存します。

このように、マルチGPU構成はVRAM容量という圧倒的なメリットをもたらす一方で、PCIeレーンの分割による帯域制限や、電源・冷却といった物理的制約が顕著に現れます。70Bモデルをターゲットにするならば、単なるGPU価格だけでなく、マザーボードのレーン数や電源ユニットのスペックを含めた「システム全体の設計」が、ローカルLLM構築の成否を分けることになります。

よくある質問

Q1. 中古のRTX 3090を導入する際のコストメリットは？

ローカルLLM環境において、中古のGeForce RTX 3090は極めて高いコストパフォーマンスを発揮します。新品のRTX 4070 Ti Super（VRAM 16GB）は約12万円前後ですが、中古の3090なら同価格帯で24GBという大容量VRAMを確保できます。Llama-3 70B級のモデルをQ4_K_M量子化で動作させる際、この8GBの差が「実行可能か否か」の境界線となるため、予算重視なら3090一択と言えます。

Q2. マルチGPU構成にする場合、電源ユニットは何W必要ですか？

RTX 3090を2枚搭載するデュアルGPU構成の場合、最低でも1200W、推奨は1500W以上の容量を持つ電源ユニットが必要です。RTX 3090単体でピーク時に350W〜400W程度の消費電力を記録することがあり、CPUやその他のパーツを含めるとシステム全体で800Wを容易に超えます。電圧の安定性を確保するためにも、80PLUS PLATINUM認証を受けた高品質な電源を選択することを強く推奨します意。

Q3. RTX 5090とRTX 3090、どちらを選ぶべきですか？

予算が許すのであれば、次世代フラッグシップのRTX 5090を強く推奨します。RTX 5090はVRAM容量が32GBへと増強されており、これにより従来の24GBでは厳しかった高精度な量子化（Q6_KやQ8_0）での70Bモデル推論が、より高速かつ安定して行えます。一方、とにかく安価に24GB以上の環境を作りたい場合は、中古の3090を複数枚用意する構成が最も経済的な選択肢となります。

Q4. 量子化ビット数を下げると、推論速度（tokens/s）は向上しますか？

はい、一般的に量子化ビット数を下げるほど、メモリ帯域への負荷が軽減されるため、トークン生成速度（tokens/s）は向上します。例えば、Llama-3 70BをQ8_0で動かす場合と、より圧縮率の高いQ4_K_Mで動かす場合では、後者の方が明らかに高速なレスポンスが得られます。ただし、ビット数を下げすぎるとモデルの知能（Perplexity）が低下するため、用途に応じた適切なバランスを見極めることが重要です。

Q5. 新しいGPUでもNVLinkによるGPU間接続は利用できますか?

残念ながら、RTX 40シリーズ以降のAmpere世代後半からBlackwell世代（RTX 50シリーズ）にかけて、コンシューマ向けGPUでのNVLinkサポートは事実上廃止されています。しかし、llama.cppやOllamaを用いた推論においては、NVLinkがなくてもPCIeバスを介したレイヤー分割（Layer Offlagging）によってマルチGPU構成での動作が可能です。物理的な接続規格に依存せず、メモリ容量の合算が可能である点が現在のローカルLLM運用の強みです。

Q6. PCIeスロットの帯域（x8接続など）は推論速度に影響しますか？

モデル全体をVRAM内に収めている場合は、PCIeのスロット帯域による影響は軽微です。しかし、VRAM容量が不足し、メインメモリ（System RAM）へレイヤーをオフロード（一部転送）して動作させる「CPU/GPUハイブリッド推論」を行う場合、PCIeの通信速度がボトルネックとなり、tokens/sが劇的に低下します。そのため、マルチGPU構成を組む際は、可能な限りx16またはx8接続が確保できるマザーボードとレーン分割の設計が必要です。

Q7. 推論中に「Out of Memory (OOM)」エラーが発生した際の対策は？

OOMエラーが発生した場合は、まず量子化ビット数を一段階下げたモデル（例：Q5_K_MからQ4_K_Mへ）を試してください。それでも解決しない場合は、llama.cppの設定で「GPUに割り当てるレイヤー数（n_gpu_layers）」を減らし、溢れた分をCPU側のメインメモリで処理するように調整します。根本的な解決には、VRAM容量の大きいRTX 5090（32GB）への換装や、GPUの増設による総VRAM量の増加が最も効果的です。

Q8. 2枚のGPUを使用する場合、排熱（サーマルスロットリング）はどう対策すべきですか?

2枚のGPUを密着させて設置すると、上のカードの吸気口が塞がれ、温度が90度を超えてサーマルスロットリングが発生するリスクが高まります。対策としては、1枚をブロワーファンタイプのモデルにするか、スロット間に1〜2スロット分の隙間を空ける設計が必要です。また、ケース内のエアフローを強化するために、前面吸気と背面・天面排気を強力なファン（Noctua製など）で構成し、GPU周辺の熱溜まりを解消することが不可欠です。

Q9. 今後、NPU（AI専用エンジン）が普及すればGPUは不要になりますか？

現時点でのローカル[LLM](/glossary/llm)推論においては、依然としてGPUの「[メモリ帯域幅」が最重要指標であり、NPU単体では力不足です。Intel Core Ultraなどの内蔵NPUは低消費電力なタスクには向いていますが、数十GBに及ぶパラメータを高速にスキャンする能力は、RTX 5090のような高帯域なGPUには及びません。当面の間、大規模な言語モデルを実用的な速度で動かす主役は、VRAM容量の大きい高性能GPUであり続けるでしょう。

Q10. 将来的に、より大きなパラメータ（100B超）のモデルを動かすには？

100Bを超えるような巨大モデルをローカルで動かすには、単体GPUの限界を超えた「マルチGPU構成」が必須となります。具体的にはRTX 3090/4090/5090を3枚から4枚連結し、総VRAM容量を72GB〜128GB以上に引き上げる構成が現実的です。この際、PCIeレーン数の多いワークステーション級のマザーボード（Threadripper搭載機など）と、それに見合う大容量の電源ユニット、そして強力な冷却環境の構築が求められます。

まとめ

• 70Bクラスの大型モデルをローカル環境で実用レベルにするには、量子化（Q4_K_M等）を用いたVRAM容量の緻密な管理が不可欠です。
• RTX 5090 (32GB) は単体での高い推論速度（tokens/s）とセットアップの簡便さが最大のメリットですが、導入コストは非常に高価です。
• コスト効率を最優先するなら、中古のRTX 3090を2枚運用して合計48GBを確保する構成が、70B級モデルの動作において極めて強力な選択肢となります。
• ただし、近年のGPUではNVLinkによる高速通信が制限されているため、マルチGPU構成時はPCIeレーン数と帯域幅（x8/x8動作など）が推論性能に直結します。
• 導入前には、llama.cppやOllamaなどのバックエンドを想定し、「パラメータ数 × 量子化ビット数」に基づく正確なVRAM使用量の計算を行ってください。

まずは自身の用途（速度重視か容量重視か）を明確にし、PCケースの物理的な空きスペースと電源容量を確認しましょう。その上で、ターゲットとするモデルの量子化サイズに基づいたGPU構成を検討してください。