LLM推論（エルエルエムスイロン）
大規模言語モデル推論実行。vLLM 0.8・llama.cpp・TensorRT-LLM 0.14・Ollama 0.5・LM Studio 0.4・Text Generation Inference(TGI)・SGLang・MLC LLMが代表フレームワーク、PagedAttention+Continuous Batching+Speculative Decoding+FP8/INT4 AWQ量子化で2026年H200/B200 SXM搭載サーバで100-1000 tok/s/user達成。
概要
LLM推論（エルエルエムスイロン）は、大規模言語モデルを実際に動かすプロセスを指す。
代表的なフレームワークとしては、vLLM 0.8、llama.cpp、TensorRT-LLM 0.14、Ollama 0.5、LM Studio 0.4、Text Generation Inference (TGI)、SGLang、MLC LLM が挙げられる。
2026年に登場した H200/B200 SXM 搭載サーバでは、PagedAttention+Continuous Batching+Speculative Decoding+FP8/INT4 AWQ 量子化を組み合わせることで、1ユーザーあたり 100〜1000 tok/s を実現している。
主な特徴・仕組み
- PagedAttention：メモリ使用量を抑えつつ高速に注意機構を実装
- Continuous Batching：複数リクエストを連続的にまとめて処理
- Speculative Decoding：予測分岐で計算量を削減
- FP8/INT4 AWQ 量子化：モデルサイズを 4 倍圧縮しつつ精度を維持
- 低レイテンシ：CPU 2.5GHz、GPU 120W で 5ms 以内の応答
- 省電力：FP8 で 30% 以上の電力削減
- 拡張性：TensorRT-LLM 0.14 で 8GB VRAM から 24GB GDDR7 まで対応
- 互換性：llama.cpp で 16GB VRAM でも動作
- 量子化サポート：INT4 AWQ で 32GB DDR5-4800 まで拡張
- マルチユーザー：1サーバで 10 台の GPU を同時稼働
スペック/製品比較表
| フレームワーク | バージョン | GPU 要件 | メモリ | 推論速度 | 量子化 | 主要特徴 |
|---|---|---|---|---|---|---|
| vLLM | 0.8 | H200 120W | 24GB GDDR7 | 800 tok/s | FP8 | PagedAttention |
| llama.cpp | 0.1 | RTX 5090 120W | 16GB GDDR7 | 200 tok/s | INT4 | 低コスト |
| TensorRT-LLM | 0.14 | RTX 3090 350W | 24GB GDDR6X | 600 tok/s | FP8 | 高速推論 |
| Ollama | 0.5 | RTX 4090 450W | 24GB GDDR6X | 700 tok/s | INT4 | 使いやすい UI |
| LM Studio | 0.4 | RTX 3090 350W | 24GB GDDR6X | 650 tok/s | FP8 | デスクトップ向け |
| TGI | 1.0 | RTX 4090 450W | 24GB GDDR6X | 750 tok/s | INT4 | API 直結 |
| SGLang | 0.3 | RTX 3090 350W | 24GB GDDR6X | 620 tok/s | FP8 | スクリプトベース |
| MLC LLM | 0.2 | RTX 4090 450W | 24GB GDDR6X | 720 tok/s | INT4 | モバイル向け |
具体例・対応製品
- H200/B200 SXM：2026年にリリース、1枚 120W、24GB GDDR7、40GB/s メモリ帯域
- RTX 5090：2025年に登場、120W、24GB GDDR7、5.7GHz クロック
- RTX 3090：350W、24GB GDDR6X、5.1GHz クロック
- RTX 4090：450W、24GB GDDR6X、5.5GHz クロック
- AMD Radeon 7900XTX：350W、24GB GDDR6、5.0GHz クロック
- CPU：Intel Core i9 13900K 3.5GHz、AMD Ryzen 9 7950X 3.4GHz
- メモリ：32GB DDR5-4800、16GB DDR4-3200
- ストレージ：1.5TB NVMe PCIe 4.0、512GB SSD
- 電源：600W 80+ Gold、750W 80+ Platinum
- ケース：ATX マザーボード対応、冷却ファン 120mm 3個
自作PCでの選び方・注意点
- GPU の TDP と電源容量を合わせる
- メモリ帯域が 40GB/s 以上のモデルを選択
- CPU のクロックが 3.0GHz 以上で、マルチスレッド性能を確保
- ストレージは NVMe PCIe 4.0 以上で読み書き速度を確保
- ケースの冷却性能を確認し、ファン 120mm 3個以上を設置
- 量子化対応フレームワークを選ぶことで 4 倍圧縮を実現
- 低レイテンシを重視する場合は、CPU と GPU のバス帯域を 10Gbps 以上に
- 予算に応じて RTX 4090 か H200/B200 SXM を選択
- 2025年にリリースされた最新 GPU を優先
- 省電力設計のフレームワークを採用すると、年間電気代を 20% 削減
関連用語との違い
- 推論：モデルを実際に動かしてテキストを生成するプロセス
- トレーニング：モデルを学習させるプロセス
- 量子化：モデルの重みを低ビット数で表現し、計算量を削減
- Speculative Decoding：予測分岐で計算量を削減する手法
- PagedAttention：メモリ使用量を抑えつつ高速に注意機構を実装
よくある質問
Q1. どのフレームワークが最も高速ですか？
A1. vLLM 0.8 は PagedAttention と FP8 量子化で 800 tok/s を実現し、最速です。
Q2. 低コスト構成で推論は可能ですか？
A2. llama.cpp は 16GB GDDR7 でも動作し、120W GPU で 200 tok/s を実現します。
Q3. 量子化は精度に影響しますか？
A3. INT4 AWQ 量子化は 4 倍圧縮しつつ、1% 未満の精度低下で済みます。
まとめ
LLM推論は、フレームワークとハードウェアの組み合わせ次第で 100〜1000 tok/s まで到達できる。
2026年に登場した H200/B200 SXM は、PagedAttention+Continuous Batching+Speculative Decoding+FP8/INT4 AWQ 量子化を組み合わせ、1ユーザーあたり 100〜1000 tok/s を実現。
自作PCでは GPU の TDP、メモリ帯域、CPU クロック、電源容量をバランスよく選択し、最新のフレームワークを活用することで、次世代の AI 推論を手軽に体験できる。