MLC-LLM (CMU OSS Cross-Hardware LLM Compiler・2023年)（エムエルシーエルエルエム）
2023年Carnegie Mellon University (CMU) 発表のMLC-LLM (Machine Learning Compilation for Large Language Models)・Tianqi Chen教授 (XGBoost/MXNet/Apache TVM作者) 主導のOSS Cross-Hardware LLM Compiler framework。Apache 2.0 License・GitHub Star 22k+ (2024年Q4)・Python/C++/TVM Unity実装・iOS/Android/macOS/Linux/Windows/WebGPU/CUDA/Metal/Vulkan/ROCm 全hardware対応・Native code compilation方式 (Python依存無)・WebLLM (Browser内Llama実行) + iOS App + Android App公式提供。
概要
MLC-LLM (Machine Learning Compilation for Large Language Models) は、2023年5月にCarnegie Mellon University (CMU)・Catalyst Group (Tianqi Chen教授・XGBoost / MXNet / Apache TVM作者主導) が発表したOSS Cross-Hardware LLM Compiler framework。Apache 2.0 License・GitHub Star 22,000+ (2024年Q4) ・累計DL 100万+。Python / C++ / Apache TVM Unity (Deep Learning Compiler) 実装・iOS / Android / macOS / Linux / Windows / WebGPU (Browser) / CUDA / Metal / Vulkan / ROCm 全hardware対応・Native code compilation方式 (Python runtime依存無) ・Static computation graph optimization + Hardware specific kernel最適化を自動化。WebLLM (Browser内Llama実行・WebGPU活用) + MLC Chat (iOS App / Android App 公式提供・App Store / Google Play登録) + MLC LLM CLI / Python API 全方面でCross-Platform LLM技術基盤を提供。Apache TVM Unity Compiler の知見を最大限に活かしたAcademic-grade LLM Optimization Frameworkとして 2023-2025年Cross-Platform LLM分野の本命OSS。
主な特徴・仕組み
- Cross-Hardware: iOS (Metal) / Android (Vulkan) / macOS (Metal) / Linux (CUDA/Vulkan/ROCm) / Windows (CUDA/DirectML) / WebGPU (Browser)
- TVM Unity Compiler: Apache TVM (Deep Learning Compiler) ・Static graph optimization + Hardware-specific kernel 自動化
- Native Compilation: Python runtime非依存・C++/Rust binary生成・Production deployment容易
- WebLLM: WebGPU API活用・Browser内 Llama 3 / Mistral / Phi-3 実行・100% Client-side推論
- Mobile Native App: MLC Chat iOS / Android App公式提供・App Store / Google Play登録
- Quantization: INT4 / INT8 / Float16 + GPTQ / AWQ / SmoothQuant等の高度Quant対応
- Multi-GPU: Tensor Parallelism + Pipeline Parallelism対応・Multi-NVIDIA GPU runtime
- License: Apache 2.0 (OSS) + CMU Research・MLC社 (商用Spinoff・2024年設立) 設立
- Distribution: pip / npm (WebLLM) / Swift Package Manager / Maven (Android) / Native binary
スペック比較表
| Cross-Platform LLM | Hardware対応 | Browser実行 | Native App | License |
|---|---|---|---|---|
| MLC-LLM | iOS/Android/macOS/Linux/Win/WebGPU | ◎ WebLLM | ○ iOS/Android | Apache 2.0 |
| Nexa AI SDK | iOS/Android/macOS/Win/Web | ○ WebAssembly | ○ iOS/Android | Apache 2.0 |
| Llamafile | Win/macOS/Linux/BSD系 | × | × | Apache 2.0 |
| Ollama | macOS/Linux/Win | × | × | MIT |
| Apple MLX | macOS/iOS only | × | △ (iOS only) | MIT |
具体例・対応製品
- MLC Chat (iOS App): App Store $0・Llama 3.2 / Phi-3 Mini / Qwen 2.5 実行・iPhone 15 Pro 10 tok/s
- MLC Chat (Android App): Google Play $0・Snapdragon 8 Gen 3+ で Llama 3.2 3B 約8 tok/s
- WebLLM (Browser実行): Chrome/Edge/Safari WebGPU対応Browser・100% Client-side LLM
- MLC-LLM CLI:
mlc_llm chat HF://meta-llama/Llama-3.1-8B-Instructで起動 - MLC社商用Spinoff (2024年設立): Tianqi Chen教授ら創業・LLM Optimization商用サービス展開予定
自作PCでの選び方・注意点
MLC-LLM は「Cross-Platform LLM技術基盤」「Browser内LLM実行 (WebGPU)」「Mobile App LLM統合」「Custom Hardware対応 (Vulkan/ROCm/DirectML)」用途の本命OSS。Apache TVM Unity Compiler の Static optimization + Hardware-specific kernel生成で Hand-written CUDA/Metal kernel と同等以上の性能達成・iOS 10 tok/s / Android 8 tok/s / WebGPU Browser実行で5-10 tok/sの実用速度。CMU Tianqi Chen教授率いるCatalyst GroupのAcademic backing + Apache TVM project (CNCF Sandbox等の確立OSS) の連携で 長期持続性 + 高性能 + 広範囲hardware対応の3点で Cross-Platform LLM分野で独自ポジション。一方Ollama (シンプル install + Desktop中心) との大きな差別化で Browser/Mobile/Embedded まで広範囲対応・Compilation方式は Setup complexity高で個人開発者向けには Ollama / LM Studio 推奨。Research / Production deployment / Cross-Platform App には MLC-LLM の優位顕在。
関連用語との違い
- vs Nexa AI SDK: 両方Cross-platform・MLC-LLMはCompilation方式 + WebGPU・Nexa AIはRuntime方式 + Multimodal広範
- vs Llamafile: MLC-LLMはMobile/WebGPU対応・LlamafileはDesktop OS Cross-binary
- vs Ollama: MLC-LLMはBrowser/Mobile対応 + Compilation・OllamaはDesktop Runtime方式
よくある質問（FAQ）
Q1: WebLLMでBrowser内LLM実行とは？ A: WebGPU API (Browser標準GPU access) を活用してJavaScript / WebAssemblyでLlama 3 / Phi-3等を直接Browser内推論。100% Client-side (Server無)・データNetwork送信無で Privacy重視・Edge AI実現。Chrome 113+/Edge 113+/Safari 18+で対応。
Q2: TVM Unity Compilerとは？ A: Apache TVM (CNCF Incubating project) のNext Generation Compiler API。Static computation graphをHardware-specific kernel (CUDA/Metal/Vulkan/WebGPU) に自動Compile・Hand-tuned kernel匹敵以上の性能達成。
Q3: Native compilation方式のメリットは？ A: Python runtime非依存でBinary単体配布可能・Cold start高速 (Python loading不要) ・Memory効率良 (Python overhead無) ・Production deployment simple化 + iOS/Android App store審査通過しやすい。
まとめ
MLC-LLM = 2023年CMU Tianqi Chen教授主導のOSS Cross-Hardware LLM Compiler。Apache 2.0・GitHub 22k Star・TVM Unity Compiler実装・iOS/Android/macOS/Linux/Windows/WebGPU 全hardware対応・Native compilation方式 + WebLLM Browser実行 + Mobile Native AppのCross-Platform LLM技術基盤OSS。Academic-grade Optimization + 広範囲hardware対応の主軸選択肢。