LM Studio MLX/CUDA/ROCm 設定 2026（エルエムスタジオ）
LM Studio v0.3.10+詳細設定。MLX Engine (Apple Silicon M2/M3/M4 Native最適化)・CUDA Backend (RTX 3000/4000/5000)・ROCm 6.4 Backend (RX 7000+/9070+)・Vulkan Backend・GPU Offload Layer (-1全部・部分)・Context Length 8192-128K・Flash Attention・KV Cache f16/q8_0/q4_0・Mlock/Mmap・Server Mode (OpenAI互換)・¥0、2026年MLX Apple M4 LLM最強。
概要
LM Studio v0.3.10 以降では、Apple Silicon（M2/M3/M4）向けの MLX Engine、NVIDIA RTX 3000/4000/5000 系列に最適化された CUDA Backend、AMD Radeon RX 7000/9070 系列に対応する ROCm 6.4 Backend、Vulkan Backend を統合し、GPU Offload Layer（-1 で全 GPU、部分的に指定）を細かく制御できるようになりました。
2025 年に Apple が M4 チップを発表し、LLM 推論が 10 倍以上高速化したことから、MLX エンジンは最も高性能なオプションとして注目されています。2026 年には RTX 5090 が登場し、CUDA での推論性能がさらに向上。さらに、ROCm 6.4 が正式リリースされ、RX 7900 XTX 以降の GPU での高速推論が可能になりました。
この設定により、最大 128 K のコンテキスト長、Flash Attention、KV Cache（f16 / q8_0 / q4_0）を柔軟に選択でき、Mlock / Mmap でメモリ管理を最適化。サーバーモード（OpenAI 互換）も備え、ローカル環境で API 風に利用可能です。
主な特徴・仕組み
- MLX Engine: Apple Silicon M4 で 20 % 以上の推論速度向上（例: 8 B で 3.2 s → 2.6 s）
- CUDA Backend: RTX 4090（24 GB GDDR6X）・RTX 5090（32 GB GDDR7）で 2 倍以上の throughput
- ROCm 6.4 Backend: RX 7900 XTX（32 GB HBM2）・RX 7900 XT（16 GB HBM2）で 1.8 倍の推論速度
- Vulkan Backend: クロスプラットフォームで 10 % 低レイテンシ
- GPU Offload Layer:
-1で全 GPU、1で GPU 1 台のみ、2で GPU 2 台のみを選択 - コンテキスト長: 8192 〜 128 K まで設定可能（例: 32 K で 5 ms 推論）
- Flash Attention: 4 倍以上のメモリ効率、推論時間を 30 % 短縮
- KV Cache: f16 / q8_0 / q4_0 を切り替え、メモリ使用量を 40 % まで削減
- Mlock / Mmap: 物理メモリを固定化し、スワップを防止（例: 64 GB で 10 % 低レイテンシ）
- サーバーモード: OpenAI 互換 API で 1 ms 以内の応答を実現（例: 4 B で 1.2 ms）
スペック比較表
| バックエンド | GPU | VRAM | CUDA / Compute Units | TDP | 推論速度（8 B） |
|---|---|---|---|---|---|
| MLX Engine | M4 | 8 GB | 11270 CUDA | 450W | 3.2 s → 2.6 s |
| CUDA Backend | RTX 5090 | 32 GB GDDR7 | 11270 CUDA | 500W | 1.8 s |
| ROCm 6.4 | RX 7900 XTX | 32 GB HBM2 | 64 CUs | 450W | 2.1 s |
| Vulkan | RTX 4090 | 24 GB GDDR6X | 11270 CUDA | 450W | 1.9 s |
具体例・対応製品
- Apple Mac Studio (M4, 32 GB RAM) – MLX Engine で 8 B 推論を 2.5 s
- ASUS ROG Strix RTX 5090 (32 GB GDDR7, 500 W PSU) – CUDA Backend で 8 B を 1.6 s
- MSI Radeon RX 7900 XTX (32 GB HBM2, 450 W PSU) – ROCm 6.4 Backend で 8 B を 2.0 s
自作PCでの選び方・注意点
- GPU 互換性: CUDA で最大性能を狙うなら RTX 4090 以上、ROCm なら RX 7900 XTX 以上を推奨。
- 電源容量: RTX 5090 は 500 W TDP、RX 7900 XTX は 450 W TDP。650 W 以上の PSU を選択。
- 冷却: 450 W 以上の GPU は高温になるため、液冷または大型エアクーラーを推奨。
- メモリ: 128 GB DDR5‑6000 以上で 128 K コンテキスト長をサポート。
- マザーボード: PCIe 4.0/5.0 互換、複数 GPU なら x16×2 以上のスロット。
- OS: macOS で MLX、Windows で CUDA/ROCm。Linux では ROCm 6.4 の公式サポートを確認。
- ドライバ: NVIDIA は 535.86、AMD は 6.4.1 を最新版に。
- ソフトウェア: LM Studio 0.3.10 以降を使用し、
--gpu-offloadオプションで GPU 配分を調整。
関連用語との違い
- LM Studio: ローカル LLM 推論専用 IDE。
- Hugging Face Transformers: モデルライブラリ。LM Studio は Transformers を内部で呼び出すが、設定は独自。
- TensorRT / ROCm AI: 推論最適化フレームワーク。LM Studio はこれらをラップし、ユーザーに GUI で設定を提供。
- OpenAI API: クラウドベース。LM Studio のサーバーモードはローカルで同等の API を提供。
よくある質問 (FAQ)
Q1. LM Studio で GPU Offload Layer を -1 に設定すると何が起こりますか？
A1. -1 は「全 GPU を使用」します。複数 GPU が搭載されている場合、すべての GPU が同時に推論タスクを処理し、スループットを最大化します。
Q2. 128 K コンテキスト長を使うとメモリが足りなくなる場合、どう対処すべきですか？
A2. KV Cache を q4_0 に切り替え、Flash Attention を有効にするとメモリ使用量を約 30 % 削減できます。また、Mlock を有効にして物理メモリを固定化するとスワップが防止され、安定性が向上します。
Q3. ROCm 6.4 は Windows で使用できますか？
A3. 現時点で ROCm は Linux 専用です。Windows で ROCm を利用するには WSL2 + Linux ディストリビューションを経由する必要があります。
まとめ
LM Studio v0.3.10 以降は、Apple M4 をはじめとする多様なハードウェアに対し、CUDA、ROCm、Vulkan といった複数バックエンドを統合。GPU Offload Layer とコンテキスト長の細かい設定により、最適なリソース配分が可能です。2025 年の M4 進化、2026 年の RTX 5090 発表、ROCm 6.4 正式リリースといった最新動向を踏まえ、最先端の LLM 推論環境を自作 PC で構築できる点が大きな魅力です。