※本記事にはアフィリエイト広告（プロモーション）が含まれています
PCパーツ・ガジェット専門
自作PCパーツやガジェットの最新情報を発信中。実測データに基づいた公平なランキングをお届けします。
2026年現在、自作PCのトレンドは「AI推論性能」に完全にシフトしました。かつてはゲームのフレームレートを競っていたGPU性能は、今や「いかに高速にLLM（大規模言語モデル）を動かせるか」という指標に置き換わっています。ローカルLLMを動かす際、ユーザーが最も直面するのは「自分のPCでどのモデルが快適に動くのか」という疑問です。
本ガイドでは、llama.cppの標準ツールである「llama-bench」、初心者にも扱いやすい「LM Studio」、そしてバックグラウンドで手軽に測定できる「Ollama」の3つの手法を軸に、正確かつ公平な性能測定手順を解説します。特に、VRAM容量やメモリ帯域が推論速度にどう影響するか、2026年最新のハードウェア環境を想定して深掘りしていきます。
ローカルLLMの性能は、単なるGPUのスペック数値だけでは測れません。モデルの量子化（精度を落として軽量化する技術）の度合い、コンテキスト長（一度に処理できるトークン数）、そして何よりGPUのVRAM（ビデオメモリ）にモデルがどれだけ収まるかという「オフロード率」が、推論速度（t/s：1秒あたりのトークン生成数）を劇的に変えます。
例えば、GeForce RTX 5090のようなハイエンドカードであっても、モデルサイズがVRAMを超えてシステムメモリ（DDR5）に溢れ出せば、推論速度は1/10以下に低下します。この「ボトルネック」を可視化し、自分のPC環境における最適解を見つけるための共通言語が、ベンチマーク測定なのです。
ベンチマークを行うことで、自分のPCが「Llama-3.3-70B」を実用レベルで動かせるのか、あるいは「Mistral-Nemo-12B」に抑えるべきなのかが明確になります。2026年現在のAI自作PCにおいて、推論速度は単なる数字ではなく、生産性を左右する重要な指標となっています。
「llama-bench」は、llama.cppリポジトリに含まれる公式のベンチマークツールです。多くのローカルLLM実行環境のバックエンドとなっているllama.cppの性能を直接測定できるため、最も信頼性が高い手法です。まずはビルド環境を整え、実行ファイルを生成する必要があります。
実行には、ソースコードからコンパイルするか、ビルド済みのバイナリを使用します。Windows環境であれば、CMakeとVisual Studio Build Toolsをインストールした環境でmakeを実行するのが一般的です。測定コマンドは非常にシンプルで、モデルファイル（GGUF形式）を指定して実行するだけで、コンテキスト長やバッチサイズに応じた推論速度を網羅的に出力します。
出力結果には「Prompt Eval（プロンプト処理速度）」と「Generation（テキスト生成速度）」の2つが表示されます。前者は入力文を読み込む速度、後者は回答を生成する速度です。特に重要なのは「Generation」の数値で、これが体感速度に直結します。
# 8192トークンのコンテキストでベンチマークを実施
./llama-bench -m models/llama-3-8b-Q4_K_M.gguf -n 128 -c 8192
LM Studioは、GUIベースでローカルLLMを管理できるツールとして、初心者から中級者まで幅広く支持されています。特に「DevTools」機能に含まれるベンチマーク機能は、コマンドライン操作に不慣れなユーザーでも、直感的にGPUの負荷状況を確認しながら計測できるのがメリットです。
LM Studioで測定を行う際は、モデルの読み込み設定が重要です。「GPU Offload」の数値を変更し、すべてのレイヤーをGPUに載せた場合と、一部をCPUに残した場合の速度差を比較してみましょう。VRAMが不足している場合、どのレイヤー数で速度がガクンと落ちるかを視覚的に把握できます。
また、LM Studioのログ画面では、リアルタイムのトークン生成速度（t/s）がグラフ化されます。これにより、推論中にCPUやGPUのどこに負荷が集中しているかを監視でき、メモリ帯域幅がボトルネックになっているのか、あるいは演算器の限界なのかを切り分けることが可能です。
| 設定項目 | 推奨値 | 理由 |
|---|
| GPU Offload | Max (全レイヤー) | VRAMに収まる限り全振りすべき |
| Context Length | 4096 / 8192 | モデルの推奨長に合わせる |
| Batch Size | 512 | メモリ使用量と速度のバランス |
| Thread Count | CPUの物理コア数 | 多すぎると逆効果になる可能性あり |
Ollamaは、バックグラウンドで常駐するAI実行環境として非常に強力です。あえて「/set parameter verbose」オプションを有効にすることで、推論完了後に詳細な統計情報が表示されます。これはllama-benchのような専用ツールを立ち上げることなく、普段使いのチャット環境でリアルタイムに速度を確認できるのが利点です。
測定時には、Ollamaの「ps」コマンドや、[Dockerコンテナとして実行している場合はコンテナのログを確認します。「eval count」や「eval duration」といった項目から、1秒あたりのトークン生成速度を計算できます。特にOllamaはデフォルトで最適なメモリ割り当てを行うため、実環境に近い数値が出やすいのが特徴です。
注意点として、Ollamaはモデルをメモリにキャッシュし続ける性質があるため、初回実行時と2回目以降で速度が異なる場合があります。ベンチマークを取る際は、必ず「PC起動直後の最初の1回目」と「モデルロード後の2回目」を分けて記録し、キャッシュの影響を考慮するようにしてください。
ローカルLLMの速度は、PCのパーツ構成によって劇的に変化します。特に2026年の自作PCにおいて、以下の3つの要素は測定結果を左右する最重要項目です。
また、「GPUのウォームアップ」も無視できません。初回推論時はGPUのクロックが低い状態から立ち上がるため、最初の数秒間は速度が遅くなります。正確な数値を出すには、10トークンほど捨て打ちしてから計測を開始するのがマナーです。
| GPU/ハードウェア | VRAM | 予想速度 (t/s) | 特徴 |
|---|---|---|---|
| RTX 5090 | 32GB | 150+ | 最速、量子化不要で高速 |
| RTX 4070 Ti Super | 16GB | 80-100 | ミドルハイの最適解 |
| RTX 3060 | 12GB | 40-60 | コスパ重視の入門機 |
| DDR5-6400 (CPU推論) | N/A | 5-15 | 非常に遅いが大容量モデル可 |
ベンチマークの結果をコミュニティやSNSで共有する際は、条件を統一しないと全く意味がありません。以下のリストを参考に、測定環境を明記することを強く推奨します。
また、測定中の温度変化にも注意してください。GPUが高熱になるとサーマルスロットリングが発生し、後半になるほど速度が落ちます。ファンカーブを最大にして、温度が安定した状態で計測を行うのがプロのやり方です。
ベンチマーク結果が出た際、どこを見るべきでしょうか。最も重要なのは「Token Generation Speed (t/s)」です。これが30 t/sを超えていれば、人間が読む速度と同等以上であり、「快適」と言えます。10 t/sを下回ると、レスポンスの遅延が気になり始めます。
もし期待した速度が出ない場合は、以下のチェックリストを確認してください。
| 現象 | 考えられる原因 | 対処法 |
|---|---|---|
| 推論が極端に遅い | VRAM不足によるスワップ | モデルの量子化を下げる |
| 初回だけ激遅 | モデルのロード遅延 | キャッシュを活用する |
| 速度が不安定 | サーマルスロットリング | GPUファンを最大にする |
| エラーで落ちる | コンテキスト長超過 | コンテキストを小さく設定 |
A1: 「Tokens Per Second」の略で、1秒間に何トークン（単語の断片）を生成できるかを示します。一般的に30 t/sあれば人間が読む速度を超え、快適な対話が可能です。
A2: 単純な倍増はしません。ただし、VRAM容量が増えるため、より大きなモデルをGPU内で完結して動かせるようになり、結果として速度が劇的に向上することがあります。
A3: モデルの重みを圧縮する技術です。精度をわずかに犠牲にする代わりに、VRAM使用量を半分以下にし、推論速度を高速化します。
A4: あります。ノートPCは熱対策が厳しいため、ベンチマークを通じて「どの程度の負荷までなら安定して動かせるか」を確認することは故障防止にも繋がります。
A7: 厳密な数値を知りたいなら「llama-bench」、普段の使い心地を知りたいなら「Ollama/LM Studio」で計測するのがベストです。
2026年のAI環境は、llama-benchのようなコマンドラインツールから、[LM Studio](/glossary/udio-music-2024)のような直感的なGUIまで、測定の選択肢がかつてないほど充実しています。この記事で紹介した手順に従い、まずは自分のPCの現状を数値化してみてください。数値が見えれば、次にどのパーツをアップグレードすべきか、あるいはどのモデルを使うべきかが自ずと見えてくるはずです。あなたのAI自作ライフが、より快適で創造的なものになることを願っています。
Ollama・LMStudioでローカルLLMを動かすサーバーPC構成。GPU・VRAM・ストレージ要件を解説。
OllamaでGemma・Llama・Qwen等のローカルLLMを動かす手順。GPU活用設定と推奨PCスペックを解説。
LM Studioでローカル大規模言語モデルを動かす完全ガイド。GGUF量子化モデルの選び方、VRAM要件、推論速度、OpenAI互換API、プロンプトテンプレート設定を実測で解説。
RAG(検索拡張生成)をローカル環境で構築する方法。ドキュメント分割、埋め込みモデル、Qdrant/ChromaDB、LM Studioとの連携、精度向上テクニックを実践的に解説。
RTX4060〜RTX5070・RX9070XTで主要LLM(Llama3.3/Gemma4/Qwen2.5)を動かした場合のトークン/秒を比較。VRAM・モデルサイズ別の実効速度と用途別の最適GPU選びを解説。
AnythingLLM DesktopをLM Studio/Ollamaと接続してRAGシステムを構築する完全手順。ドキュメント取り込み設定、埋め込みモデル選択、検索精度チューニング、推奨PC構成を実例で解説。
この記事の内容に関連するグラフィックボードを掲載しています。対応規格・必要な性能・販売条件を比較して選んでください。
グラフィックボードの仕様・取り扱い状況はAmazon上でご確認ください。
※ 当サイトはAmazonアソシエイト・プログラムの参加者です。
