NPUとGPUのAI推論の違い｜どちらでLLMを動かすべきか

ローカルLLMを動かすならどちらか：具体的な選択基準

結論から述べれば、「本格的にLLMを運用したいならGPU」、「AI機能を日常的に軽く使いたいならNPU」となります。ここで言う「本格的」とは、Llama-3 70BやMistral Largeなどの大規模モデルを、人間が読む速度（5-10 tokens/sec以上）で動作させることを指します。これを実現するには、前述の通りVRAM容量が絶対条件となります。

具体的に、モデルサイズごとの推奨ハードウェアを提案します。まず、7B〜14Bクラスの軽量モデル（Llama-3 8Bなど）を動作させる場合、RTX 4060 Ti (16GB)やRTX 4070 Ti Super (16GB)があれば、量子化を用いてVRAMに完全に載せることができ、非常に快適な速度で動作します。このクラスであれば、最新のNPU搭載機（Ryzen AI 300等）でも動作は可能ですが、速度はGPUに劣ります。ただし、メモリを64GB以上搭載したNPU環境であれば、VRAM不足に悩まされることなく、より大きなモデルを（遅いながらも）ロードできるというメリットがあります。

一方、30B〜70Bクラスの中大型モデルを動かす場合、単体GPUでは力不足です。RTX 3090や4090を2枚差し（NVLink非対応でも動作可能）してVRAM 48GBを確保するか、Mac Studioのようなユニファイドメモリ（最大192GB）を搭載したAppleシリコン環境を選択することになります。NPU搭載のWindows PCでこれらを動かす場合は、メインメモリを128GBまで増設し、llama.cppなどのツールを用いてCPU/NPUで推論させることになりますが、速度は 1-2 tokens/secまで低下し、実用的ではありません。

LLM運用におけるハードウェア構成案

画像生成AI（Stable Diffusion等）での使い分けと注意点

画像生成AIの世界では、依然としてGPUが絶対的な王者です。Stable Diffusion XL (SDXL)や、より最新のFlux.1のようなモデルは、膨大な計算量を必要とするだけでなく、U-NetやVAEといった複雑なネットワーク構造を持っています。これらの処理は、NVIDIAのTensorコア（AI専用演算器）によって劇的に加速されます。

例えば、RTX 4090を使用し、TensorRT（NVIDIAの最適化ライブラリ）を適用した場合、SDXLでの画像生成速度は1枚あたり1〜2秒という驚異的な数値を叩き出します。対して、NPUで画像生成を行う場合、Intel OpenVINOなどのツールキットを介して動作させることは可能ですが、生成速度は1枚あたり10〜30秒程度まで落ち込みます。NPUは「1枚の画像をじっくり作る」よりも、「ビデオ会議の背景をリアルタイムで生成・変更する」といった低遅延・低消費電力のタスクに向いています。

また、画像生成における「解像度」の壁にも注意が必要です。高解像度生成（Upscaling）を行う際、VRAM消費量は指数関数的に増加します。16GBのVRAMがあれば、ControlNetなどの追加機能を用いても余裕を持って動作しますが、NPU共有メモリ環境では、他のアプリケーションがメモリを消費していると、AI処理に割り当てられるメモリが不足し、Out of Memory (OOM) エラーが発生しやすくなります。

画像生成AIの処理性能比較

実務的な選び方：自作PC構成への組み込み方

AI推論を意識してPCを組む場合、単に「最新のパーツを選ぶ」のではなく、「ボトルネックがどこにあるか」を明確にする必要があります。AI処理におけるボトルネックは、多くの場合「メモリ帯域 $\rightarrow$ メモリ容量 $\rightarrow$ 演算性能」の順で発生します。

まず、予算に余裕がある場合は、NVIDIA GeForce RTX 4090（または次世代の5090）を最優先で組み込んでください。電源ユニットは、スパイク電力を考慮して1000W〜1200Wの80PLUS GOLD以上の製品（例：Corsair RM1000x Shift）を推奨します。また、GPUの発熱は激しいため、ケース内エアフローを最適化し、360mm以上の水冷クーラー（例：Arctic Liquid Freezer III）をCPUに搭載することで、システム全体のサーマルスロットリングを防ぐことができます。

次に、NPUの恩恵を受けたい場合は、CPUにIntel Core UltraやAMD Ryzen AI搭載モデルを選択します。この際、重要になるのがメインメモリの速度です。NPUはシステムメモリを共有するため、DDR5-6000 MT/s以上の高速メモリ（例：G.Skill Trident Z5 Neo）を選択し、必ずデュアルチャネル（2枚1組）で構成してください。シングルチャネル構成ではメモリ帯域が半分になり、NPUの性能を完全に殺してしまうことになります。

ストレージについても、AIモデルのロード時間を短縮するために、Gen5 NVMe SSD（例：Crucial T705, 読み込み速度 14,500MB/s）の導入を検討してください。数十GBに及ぶLLMのモデルファイルをメモリに展開する際、Gen4（7,000MB/s）とGen5（14,000MB/s）では体感的な待ち時間に明確な差が出ます。

AI特化型自作PC 推奨パーツリスト

よくある質問（FAQ）

Q1: NPUがあれば、GPUを積まなくてもAIは動きますか？ A1: はい、動作します。ただし、動作する「モデル」に制限があります。軽量なLLM（8B以下）や、OpenVINO/ONNXなどの対応フレームワークを使用したAI機能であれば、NPUのみで動作可能です。しかし、画像生成AIや大規模なLLMを実用的な速度で動かしたい場合は、依然としてGPUが必須です。

Q2: GPUとNPUを同時に使って推論速度を上げられますか？ A2: 理論上は可能ですが、現状のソフトウェア実装では困難です。多くの場合、推論エンジン（llama.cpp等）は「GPUのみ」か「CPU/NPUのみ」のどちらかを選択して動作します。ただし、一部のアプリケーションでは、バックグラウンド処理をNPUに、メインの重い処理をGPUに分担させるハイブリッド運用が始まっています。

Q3: VRAMが足りない場合、メインメモリへのオフロード（共有メモリ）は有効ですか？ A3: モデルを動作させること自体は可能ですが、速度は劇的に低下します。VRAM（GDDR6X）の帯域幅が1,000GB/sであるのに対し、メインメモリ（DDR5）は100GB/s程度であるため、推論速度は1/10以下になることが一般的です。実用性を求めるなら、量子化（4-bit等）を用いてVRAMに収めるか、より大容量のGPUを導入してください。

Q4: MacのユニファイドメモリはNPUとGPUのどちらに近いですか？ A4: Appleシリコン（M2/M3/M4）の構造は非常にユニークで、CPU/GPU/NPU（Neural Engine）が単一の高速なメモリプールを共有しています。これは「GPUが超巨大なVRAMを持っている」状態に近く、LLMのようなメモリ帯域が重要なタスクにおいて非常に強力です。128GB以上のユニファイドメモリを搭載したMac Studioなどは、巨大なLLMを動かすための現実的な選択肢となります。

Q5: RTX 4060 Tiの16GBモデルは、AI用途に買いですか？ A5: はい、非常にコストパフォーマンスが高い選択肢です。演算速度こそRTX 4080/4090に劣りますが、AI推論において最も重要な「VRAM容量」が16GBあるため、多くのモデルを量子化して動作させることができます。予算を抑えつつ、ローカルAIを試したい方には最適です。

Q6: TOPSという数値は、どれくらい信頼していい指標ですか？ A6: TOPSは「理論上の最大演算回数」であり、実際の速度を保証するものではありません。メモリ帯域やソフトウェアの最適化状況によって、同じTOPS値でも実際のトークン生成速度は大きく異なります。数値だけではなく、実測のベンチマーク（tokens/sec等）を確認することを強く推奨します。

Q7: NPUを有効にするために必要な設定はありますか？ A7: Windows 11の場合、最新のOSアップデートとメーカー提供の[チップセットドライバをインストールすれば、OSレベルで自動的に認識されます。特定のソフト（例：Adobe Premiere ProのAI機能）では、設定画面から「ハードウェア加速」や「NPU」を選択することで有効になります。

Q8: AI PCを組む際、電源ユニットの容量以外に気をつけるべき点は？ A8: GPUの物理的なサイズ（厚みと長さ）です。RTX 4090のような大型カードは、ケースに干渉するだけでなく、[PCIeスロットに大きな負荷をかけます。GPUサポートステイ（支柱）の導入を強く推奨します。また、電源ケーブルは変換アダプタではなく、12VHPWR専用ケーブルを直接使用できるATX 3.0対応電源を選んでください。

まとめ

NPUとGPUは、AI推論における役割が明確に分かれています。GPUは「圧倒的なパワーと帯域幅を持つ重機」であり、大規模モデルの高速推論や画像生成に不可欠です。一方、NPUは「極めて効率的な精密機械」であり、低消費電力で日常的なAIタスクを処理することに特化しています。

【本記事の要点まとめ】

• GPU (RTX 4090等): [VRAM帯域幅](/glossary/bandwidth)が極めて広く、LLMの生成速度が最速。ただし消費電力が非常に高く、VRAM容量の制限がある。
• NPU (Ryzen AI/Core Ultra等): 消費電力が極めて低く、常駐AIタスクに最適。ただしメモリ帯域が狭いため、大規模モデルの高速推論には不向き。
• LLMの選び方: 8B以下の軽量モデルならNPUでも可。70B以上の大型モデルを実用速度で動かすなら、VRAM 48GB以上のGPU構成（またはMac Studio）が必須。
• 画像生成の選び方: 速度・品質ともにGPUが圧倒的。NPUはバックグラウンド処理や低解像度のリアルタイム処理向き。
• 自作時の注意点: メモリは必ず高速なDDR5のデュアルチャネル構成にし、GPU導入時は[ATX 3.0電源と十分な冷却環境を確保すること。

AI環境は日々進化していますが、ハードウェアの物理的な制約（メモリ帯域と容量）は不変です。自分のやりたいことが「研究・開発レベルの重い処理」なのか、「日常の効率化レベルの軽い処理」なのかを見極め、最適なパーツ構成を選択してください。