※本記事にはアフィリエイト広告（プロモーション）が含まれています
PCパーツ・ガジェット専門
自作PCパーツやガジェットの最新情報を発信中。実測データに基づいた公平なランキングをお届けします。
Nemotronをローカルで使うには、モデルの正式名・量子化形式・実行ソフトを固定して必要メモリを確認します。RTX 5090の標準構成は32GB GDDR7ですが、Llama-3.1-Nemotron 70Bを通常の4bitにした重みだけでも概算35GBとなり、一枚への全層配置を保証できません。
2026年10月時点（確認日：16日）の公式仕様とモデルカードを照合しました。10月15日公開のNemotron 3.5 Boltは別モデルです。GPU実機の推論速度、日本語評価、販売店の価格・在庫は今回測定・確認していません。
同じシリーズ名でもモデル構造・配布形式・利用条件は異なります。古い70Bの動作条件を、そのままBoltや他のモデルへ移さないでください。
| 対象 | 確認できる配布・構造 | 導入時の確認 |
|---|---|---|
| Llama-3.1-Nemotron-70B-Instruct-HF | 公式HF版はBF16 | モデルカードの使用例と、使う実行ソフトの対応 |
| NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB | 総74B・トークンあたり9BアクティブのVLM | 専用量子化とbackend・GPUの条件 |
| 同BoltのGGUF版 | 公式GGUFと別配布の画像用ファイル・drafter | レシピのGPU容量、文脈長、並列数、追加モデル |
| その他のNemotron | 名前やサイズだけでは条件を確定できない | 正式なリポジトリ名・リビジョン・ライセンス |
旧70Bの公式モデルカードは、Transformersで80GB GPUを2基以上使う例と、A100 80GBを2基使用した検証例を示します。これは当該配布形式・例の条件であり、すべての量子化版の最低要件ではありません。利用規約もモデルごとに確認し、一括してApache 2.0とは扱いません。
編集部の判断: GPUを注文する前に、動かしたいファイルと実行手順を一つ選んでください。「Nemotron 70B対応」「AI向けGPU」という商品説明だけでは、手持ち環境への適合を判断できません。
重みの理想容量は「パラメーター数×ビット数÷8」で概算できます。ただし、実ファイルや起動時の必要量を示す計算ではありません。
公称70Bを一律の精度で保存すると仮定した、十進GBによる理想計算は次のとおりです。
| 重みの仮定 | 計算 | 重みだけの概算 |
|---|---|---|
| 16bit | 70×10の9乗×16÷8 | 140GB |
| 8bit | 70×10の9乗×8÷8 | 70GB |
| 4bit | 70×10の9乗×4÷8 | 35GB |
実際には正確なパラメーター数、量子化方式、スケール等の補助情報、量子化しない層で容量が変わります。さらにKVキャッシュ、作業領域、画像入力、推測デコード用の追加モデルなどが必要です。ファイル容量・RAM・専用VRAM・共有メモリも区別します。
32GB GPUと概算35GBの重みを比べるだけでも、通常の4bit版を一枚へ完全配置できるという説明は成立しません。より低いビット数や混合量子化、CPU側への退避は別の条件です。モデルを読み込めたことだけで、必要な文脈長や速度を満たすとは限りません。
CPUへ一部を置く場合はRAM容量も必要で、転送や演算の配置が速度に影響します。複数GPUも実行ソフトの分割対応が必要で、VRAMが自動で一つになるわけではありません。一般的な計算はローカルLLMのVRAMガイドで確認できます。
NVIDIAのRTX 5090公式仕様にある標準メモリ構成は32GB GDDR7、Total Graphics Powerは575Wです。HBM3や24〜48GBという可変仕様として選ばないでください。
| 確認項目 | 公式リファレンスの値・意味 | 購入前に追加で見ること |
|---|---|---|
| 標準メモリ | 32GB GDDR7 | 購入するメーカー・正確な型番 |
| Total Graphics Power | 575W | 実測値・PC全体の必要電力とは区別 |
| PC全体の電源 | 構成に依存する別の条件 | GPUメーカーとPSUの説明書、CPU等の構成 |
| 設置条件 | メーカー製品で差がある | カード厚・長さ、コネクターとケーブルの空間 |
TGPだけからPSU容量を決めず、メーカー独自カードもその製品仕様を確認します。メモリ容量が足りても、実行ソフトがGPU世代や量子化カーネルに対応していなければ、想定の配置では起動できません。
既存GPUで試せる配布形式・短い文脈の条件を確認してから、買い替えや増設の必要性を判断します。速度・電気代・冷却の優劣は、同一条件の測定がないまま順位付けしません。
Boltの公式モデルカードは2026年10月15日公開を記載しています。総74B・9Bアクティブという構造で、アクティブ9B分の重みだけを保存すればよい意味ではありません。
24GBは専用の低ビット量子化・設計目標に関する名称です。設計時のメモリ予算はbatch 1・128K文脈など条件付きで、任意の24GB GPUで最大256K文脈・画像・並列要求を一度に扱える保証ではありません。
公式GGUFカードのChoose your deployment欄は、次の対応を示します。レシピ名のGBとGPU搭載容量は同じ値ではありません。
| レシピ | 公式欄が示す対象例 | 文脈長・並列等の条件 |
|---|---|---|
| 28GBレシピ | RTX Spark 64GBまたはRTX単体GPU 32GB以上 | 65,536トークン・1系列・q8_0 KV・最大6 draft tokens |
| 32GBレシピ | RTX Spark 128GBまたはRTX単体GPU 48GB以上 | 262,144トークン・1系列・最大7 draft tokens |
同カード内でもQuick Startと詳細レシピで文脈長の値が異なるため、複数例から都合のよい値だけを混ぜず、一つのレシピを通して確認してください。画像用ファイルや別配布のdrafterも含め、記載されたモデル・backend・GPU条件を照合します。
この表はメーカーの導入条件の整理で、編集部が当該GPUで動作を再現した結果ではありません。32GB以上という容量条件だけで、すべてのGPU世代やOSへの対応を断定しません。
Ollama配布ページのタグ一覧は25GBと表示しています。これは実行時VRAMの必要量そのものではありません。同ページはApple Silicon／Metal非対応とも明記しているため、「ローカル対応だからMacでも動く」とは判断できません。
Boltは画像入力・ツール呼び出しなどを扱うモデルですが、実行アプリ側も対応が必要です。モデルカードと配布ページ、利用アプリの対応条件が食い違う場合は、確認が取れるまで互換性を断定せず、選んだ配布形式の手順を優先します。
モデル名、ファイル、実行ソフトの版を固定し、最初は短い文脈・一要求から確認します。導入方法は採用する配布形式の公式手順を使い、旧70B用のコマンドをBoltへ置き換えるだけでは済ませません。
| 記録項目 | 具体的に残すもの | 判断できること |
|---|---|---|
| モデル | リポジトリ・リビジョン・ファイル名・量子化 | 比較している重みが同じか |
| 実行ソフト | llama.cpp／vLLM等の版・ビルドとbackend | 当該形式・GPUに対応するか |
| ハードウェア | GPU型番・枚数・専用VRAM・RAM | 配置可能な容量とCPU退避の条件 |
| 配置 | GPUに置いた層・CPU側の重み・追加モデル | 全層GPUか一部退避か |
| 文脈と要求 | 入出力長、画像、並列数、KV設定 | 実行時メモリの増加要因 |
| 結果 | 読み込み成否、ログ、最大メモリ、生成結果 | 起動と利用目的を満たすか |
起動しない場合は、まずログで未対応形式・メモリ不足・ドライバーやbackendの問題を分けます。「GPUが古いから」と即断して購入へ進まず、エラーと配布元の対応表を照合してください。サーバーの公開設定や外部ツールをつなぐ工程は、単体の推論確認後に分けます。
本記事には今回再現したtok/sや日本語ベンチマークの値を掲載していません。旧本文の速度・順位は元ログとモデル・環境の対応を確認できないため、購入判断の実測表として使用しない構成へ改めました。
比較する場合は同じモデル・量子化、文脈長、出力長、並列数、CPU／GPU配置を揃えます。初回のモデル読み込み、入力処理、最初のトークンまでの時間、生成速度、同時処理全体の量を分けて記録し、どの値を比較したか明示します。
日本語の対応言語表と、日本語業務での品質は別の判断です。使う質問、コード、固有名詞などの検証セットと採点方法を固定し、誤りや回答の不安定さも保存します。メーカー評価がある場合も、評価日・対象モデル・測定者を明記し、自サイトの実測に置き換えません。
編集部の判断: 必要な文脈長で起動し、手元の課題に正しく答えられることを、速度ランキングより先に確かめます。GPUの買い替え判断は、同条件の容量・速度・運用費の記録が揃ってから行います。
以下は比較・購入用のAmazon検索リンクです。アフィリエイト広告を含みます。モデルの動作や価格・在庫を保証するリンクではありません。販売元、正確な型番、保証、電源とケースへの適合を確認してください。
一般的な購入前点検はAI用GPUの互換性チェック、MoEの容量の読み方は総数・アクティブ数の解説を参照してください。
正式モデルと量子化・配置次第です。通常の一律4bit計算では重みだけで概算35GBとなり、32GBへの全層配置は保証できません。CPU退避や専用の混合低ビット版は、別の条件として確認します。
公称70Bの一律8bit計算は重みだけで概算70GBです。35GBは一律4bitの場合の理想計算で、どちらも実行時メモリや量子化ファイルの実サイズを保証しません。
名称だけでは保証できません。公式GGUFの詳細レシピは28GBレシピでもRTX単体GPU32GB以上の例を示します。選ぶbackend・GPU・文脈長の条件を照合してください。
済むとは判断できません。アクティブ数はトークンごとの計算に関する値で、保存する総重みや実行時メモリとは異なります。CPU退避などの配置条件も別途確認します。
今回の改訂では実機測定をしていません。公式資料の条件を整理した記事であり、実測速度や日本語の順位を保証するものではありません。
正式モデル名と配布ファイル、対応backendを決め、GPU容量と公式レシピの文脈・並列条件を照合してください。最小の構成で読み込みと回答を確認し、その結果を残してから画像入力・長い文脈・同時処理へ進みます。
グラフィックボード
Palit (パリット) GeForce RTX 3090 GamingPro 24GB GDDR6X レイトレーシング LHR グラフィックスカード 10496コア 1395MHz GPU ブースト1695MHz ディスプレイポート HDMI Advanced TurboFan 3.0
グラフィックボード
Thermaltake LCGS Reactor i1470S ゲーミングデスクトップ (Intel Core™ i7-14700KF、32GB 6000MT/s DDR5 RGBメモリ、NVIDIA GeForce® RTX 5070、2TB NVMe M.2、WiFi、Windows 11) T3WT-B760-570-LCS。
NVIDIA NIM マイクロサービスのセルフホスト構築を解説。Llama 3.3 / Nemotron / Mistral Large のデプロイ、Kubernetes 統合、ライセンス、実運用Tipsを紹介。
vLLM vs TensorRT-LLM 2026高速推論を比較するPC構成を解説。
HuggingFace Transformersライブラリをローカルで使うガイド。モデルダウンロード・量子化・推論高速化を具体例で解説する。
[]
llama.cpp Ollama MLXがllama.cpp・Ollama・MLX・vLLMで使うPC構成を解説。
この記事で紹介した書籍の商品情報をAmazonで確認できます。
Q: さらに詳しい情報はどこで？
A: 自作.comコミュニティで質問してみましょう。
この記事の内容に関連するグラフィックボードを掲載しています。対応規格・必要な性能・販売条件を比較して選んでください。
グラフィックボードの仕様・取り扱い状況はAmazon上でご確認ください。
※ 当サイトはAmazonアソシエイト・プログラムの参加者です。
