ローカルLLMのVRAM選び｜量子化・KVキャッシュ・統合メモリを計算

ローカルLLMの必要VRAMは、モデルのパラメーター数だけでは決まりません。重み、KVキャッシュ、実行時の作業領域が必要で、量子化方式、コンテキスト長、同時要求数、使用ソフトで変わります。まず動かしたいモデルの実ファイルと実行条件を決めてからGPUを選びます。

この記事は2026年10月14日時点の公式資料と容量の概算を整理したものです。GPU別の推論速度や、以下の容量帯での実機動作を測定したものではありません。

重みの容量を概算する

すべての重みを同じビット数で保存すると仮定した単純計算は「パラメーター数×ビット数÷8」です。次は4bitを仮定した理想化した値で、実際の量子化ファイルやVRAM使用量を表してはいません。

実ファイルには量子化のスケールやメタデータがあり、部分ごとに精度が異なる方式もあります。GBとGiBの表記も区別してください。モデル配布ページのファイルサイズを確認し、読み込み後の使用量を別途測ります。Hugging Faceの量子化ガイド

70Bを4bitにする単純計算だけでも約35GBです。「32GBのGPUなら70Bが全層GPUへ収まる」とは言えません。さらにKVキャッシュと作業領域も必要です。CPUメモリへの退避を使って起動することと、全層をGPUへ配置することは区別します。

KVキャッシュと作業領域を残す

KVキャッシュは、過去のトークンの情報を保持して生成を進めるためのメモリです。構造や精度はモデル・実装で異なり、長いコンテキストや同時実行で使用量が増えます。

「重みのファイルが載る」だけで使えると判断せず、実際の入力長と出力長で確認します。最初は同時要求を一つにし、コンテキストを短めにして、どの条件でメモリ不足になるかを分けて調べてください。

編集部の判断では、購入前に目標モデルと必要な入力長を決めることが先です。最大容量だけを基準にすると、目的に合わない量子化や遅い退避を前提にしてしまうことがあります。

32GB・48GBなどの容量帯をどう比較するか

容量帯は、特定モデルの動作保証ではなく絞り込みに使います。32GBで重みが載らない場合は、小さいモデル、量子化変更、CPUへの退避、より大きいメモリを持つ構成を比較します。48GBでも、長文と並列要求を増やせば余裕がなくなる場合があります。

複数GPUを用意しても、メモリが自動的に一枚の大きなGPUになるわけではありません。使用するエンジンがそのモデルとGPU構成で分割に対応するか、通信帯域、スロット間隔、電源、冷却まで確認します。APIのロードバランサーで要求を振り分けることは、モデルを分割する機能とは別です。

推論エンジンの設定は、たとえばllama.cppのサーバー資料など、実際に使うソフトの説明を参照します。他のソフトのGPUオフロード設定をそのまま流用しません。

統合メモリは総容量とGPU割り当てを分ける

統合メモリではCPUとGPUが同じ物理メモリを利用しますが、製品の総容量をすべてモデルに使えるわけではありません。OSや他アプリの使用量、GPUへ割り当てられる上限、実行環境の対応を確認します。

AMD Ryzen AI Haloの公式ユーザーガイドでは、128GB構成と192GB構成を分け、VGMの変更経路もOS別に案内しています。192GB構成のWindows 11でVGMを128GB超へ増やす場合には追加の案内があります。総メモリが192GBだからGPUが無条件に全量を使える、という意味ではありません。

ガイドには初期割り当ての説明と、大モデル向けの調整案内が併記されています。モデルが動かない原因を確かめずに上限まで変更するのではなく、実機の現在値と対象OSの案内を確認してください。同じ容量のノートPCやMacへ、この製品のVGM手順を当てはめることもできません。

買い替え前に残しておきたい記録

モデル名とリビジョン、ファイルサイズ、量子化方式、エンジンと版、コンテキスト、同時要求数、ロード時と生成時のメモリを記録します。遅い場合は、初回読み込み、プロンプト処理、生成速度を分けて測ります。

編集部は、容量不足なのか、対応していない演算や退避が原因なのかを切り分けてから購入することを勧めます。VRAMを増やしても、CPU、メモリ帯域、GPU間通信、ソフトウェア対応が原因なら期待した改善にならないことがあります。

中古GPUや複数GPU構成では、本体価格のほか、電源、ケース、冷却、消費電力も含めて比較します。本記事では国内価格や速度順位を実測したものとして掲載していません。

よくある質問

Q1. 4bitならパラメーター数から容量が確定しますか？

確定しません。単純計算のほか、量子化の追加情報、KVキャッシュ、作業領域が必要です。

Q2. 32GB GPUで70Bモデルは動きますか？

モデルと量子化、退避の有無次第です。全層GPUへ配置できることと、CPU退避を使って起動できることを分けます。

Q3. 24GB GPUを2枚買えば48GB GPUと同じですか？

同じではありません。モデル分割への対応、通信、実行方式で利用できる容量や速度が変わります。

Q4. 統合メモリはすべてGPU用ですか？

OSやCPU側も使い、GPU側の割り当て条件もあります。製品・OS・実行ソフトごとに確認してください。

Q5. 量子化を軽くすれば必ず速くなりますか？

GPUと演算カーネル、モデル、退避の状態によって変わります。品質も含め同じ入力で比較します。