AI推論Stack 2026包括 (vLLM/llama.cpp/MLX)（エーアイインファレンススタック）
2026年AI推論Stack全俯瞰。Local: Ollama 0.5+/LM Studio 0.3.10/Jan 0.5/llama.cpp b4400+/MLX 0.21・Server: vLLM 0.7/SGLang 0.4/TGI 3.0/TensorRT-LLM 0.18/MLC LLM・Cloud: AWS Bedrock+SageMaker・GCP Vertex AI・Azure OpenAI Service・Together AI・Replicate・OpenRouter (300+ Model)・Hardware: RTX 5090/H200/B200/MI300X/M4 Max・Apple Silicon UMA・¥0 OSS-API・Speculative Decoding/MoE/MLA・FP4 Native、2026年Local 70B Q4家庭普及。
概要
AI推論Stack 2026包括は、ローカル、サーバー、クラウドそれぞれに最適化されたオープンソース・商用ツールを統合したフレームワークである。ローカル側では Ollama 0.5+、LM Studio 0.3.10、Jan 0.5、llama.cpp b4400+、MLX 0.21 が実行環境を提供し、サーバー側は vLLM 0.7、SGLang 0.4、TGI 3.0、TensorRT-LLM 0.18、MLC LLM が高速化とスケーラビリティを担保する。クラウド側は AWS Bedrock+SageMaker、GCP Vertex AI、Azure OpenAI Service、Together AI、Replicate、OpenRouter（300+ モデル）などが利用可能。2025年には RTX 5090 の登場で 24GB GDDR7 が実装され、2026年には H200 の FP4 ネイティブサポートが加わり、家庭用 70B Q4 推論が実現する。ハードウェアは RTX 5090、H200、B200、MI300X、M4 Max など多彩で、Apple Silicon UMA も対応。OSS-API で ¥0 で利用できる点が大きな特徴だ。
主な特徴・仕組み
- ローカル推論: Ollama 0.5+ は 7B 〜 70B モデルを 16GB RAM で動作させ、LLM Studio 0.3.10 は GUI で簡易設定が可能。
- 高速化技術: vLLM 0.7 は Speculative Decoding と MoE を組み合わせ、推論速度を 3 倍に。
- FP4 ネイティブ: TensorRT-LLM 0.18 が FP4 で 70B モデルを 70% 低メモリで実行。
- クラウド統合: OpenRouter が 300+ モデルを API 経由で提供し、同時に 1 秒あたり 10,000 回以上のリクエストに対応。
- ハードウェア最適化: RTX 5090 は 80GB/s メモリ帯域、H200 は 256GB/s、MI300X は 320GB/s を持つ。
- メモリ要件: 70B Q4 推論には 128GB DDR5-6000 が推奨。
- 電力消費: RTX 5090 の TDP は 450W、H200 は 350W、MI300X は 800W。
- ストレージ: 512GB NVMe SSD が推奨され、推論モデルのロード時間を 50% 低減。
- クロスプラットフォーム: MLX 0.21 が Apple Silicon M4 Max で 4K 解像度の推論を実現。
- API エコシステム: OSS-API で 2026年に公開された 300+ モデルを即座に呼び出せる。
スペック比較表
| スタック | 推論範囲 | 主なモデルサイズ | 推論速度 | 推奨ハードウェア |
|---|---|---|---|---|
| ローカル (Ollama) | 7B〜70B | 70B Q4 | 2.5× vLLM | RTX 5090, H200 |
| サーバー (vLLM) | 7B〜200B | 200B FP16 | 3.8× TGI | MI300X, B200 |
| クラウド (OpenRouter) | 1B〜200B | 200B FP4 | 4.2× | AWS Bedrock, Vertex AI |
具体例・対応製品
-
RTX 5090
- 24GB GDDR7、80GB/s メモリ帯域、TDP 450W、価格 ¥128,000。
- 70B Q4 推論で 30% 低遅延を実現。
-
H200
- 256GB DDR5-6000、TDP 350W、価格 ¥200,000。
- FP4 ネイティブで 70B モデルを 70% 低メモリで動作。
-
Apple Silicon M4 Max
- 8-core GPU、UMA 24GB、TDP 70W、価格 ¥180,000。
- MLX 0.21 で 4K 解像度推論を 5fps で実行。
-
MI300X
- 320GB/s メモリ帯域、TDP 800W、価格 ¥350,000。
- 200B FP16 推論で 2.5× 速度向上。
-
B200
- 128GB DDR5、TDP 600W、価格 ¥250,000。
- 100B FP4 推論で 60% 低メモリ。
自作PCでの選び方・注意点
- GPU: RTX 5090 か H200 が最適。メモリ帯域と TDP をバランス。
- CPU: Ryzen 9 9950X3D で 16 コア、64MB キャッシュ、TDP 150W。
- メモリ: 128GB DDR5-6000 を 2x64GB の構成で 3200MHz 以上。
- ストレージ: 512GB NVMe SSD（PCIe 4.0）を推奨。
- 電源: 750W 80+ Gold 以上。GPU 2 台構成なら 1000W。
- 冷却: 空冷より水冷を選択。H200 は 350W なので 600W 以上のクーラー。
- ケース: 2U ラックマウントで 1200mm 以上の長さ。
- OS: Ubuntu 24.04 LTS、CUDA 12.1、ROCm 6.0 互換。
- ソフトウェア: vLLM 0.7、TensorRT-LLM 0.18、MLX 0.21 を同時にインストールし、API 連携をテスト。
関連用語との違い
-
従来の推論フレームワーク（Triton, TorchServe）
- 2025年にリリースされた vLLM は Speculative Decoding で 3 倍速度を実現。
- Triton は GPU スケジューリングに限定、vLLM は MoE もサポート。
-
クラウド専用サービス（AWS SageMaker, Azure OpenAI）
- 2026年に AWS Bedrock が FP4 で 70B モデルを提供。
- ただし、ローカルで 70B Q4 を実行できる点が差別化。
-
オープンソース推論（llama.cpp, MLX）
- llama.cpp は CPU で 7B まで、MLX は Apple Silicon で 4K 推論。
- 2025年に MLX 0.21 が 8-core GPU で 4K 60fps を達成。
よくある質問(FAQ)
Q1. 70B Q4 モデルを家庭用 PC で動かすにはどのくらいのスペックが必要ですか？
A1. 70B Q4 を安定稼働させるには RTX 5090 か H200 のいずれか、128GB DDR5-6000、512GB NVMe SSD、750W 以上の電源が必須です。
Q2. vLLM と TensorRT-LLM の違いは何ですか？
A2. vLLM は Speculative Decoding と MoE を組み合わせて CPU/GPU 両方で高速化、TensorRT-LLM は NVIDIA GPU 専用で FP4 ネイティブに最適化。両者を併用すると、サーバー側で vLLM、GPU で TensorRT-LLM を併用可能。
Q3. クラウドサービスを利用する場合、料金はどの程度ですか？
A3. 2026年時点で OpenRouter の 70B モデルは 1 秒あたり 0.0005 USD、AWS Bedrock は 1 万回リクエストで 10 USD となっている。利用頻度に応じて最適なサービスを選択。
まとめ
AI推論Stack 2026包括は、ローカルからクラウドまで一貫したエコシステムを提供し、2025年から 2026年にかけて登場した RTX 5090、H200、FP4 ネイティブ、Speculative Decoding、MoE などの技術を組み合わせることで、家庭用 70B Q4 推論を現実化している。自作PCでは GPU・CPU・メモリ・電源・冷却をバランスよく選択し、vLLM、TensorRT-LLM、MLX を統合すれば、低コストで高性能な推論環境が構築できる。クラウドサービスとの併用も視野に入れ、将来的なスケーラビリティを確保することで、2026年以降の AI 需要に柔軟に対応できる。