Nexa AI SDK (On-Device Multimodal LLM SDK・2024年)（ネクサエーアイエスディーケー）
2024年Nexa AI (中国Shanghai拠点・2023年設立スタートアップ) 発表のOn-Device AI SDK。OSS Apache 2.0・GitHub Star 5k+ (2024年Q4)・C++/Python実装・GGUF/MLX/ONNX/PyTorch model対応・Edge Device最適化推論 (iOS/Android/macOS/Windows/Linux/Web) + Multimodal対応 (Text/Vision/Audio/TTS/STT/Embedding) + Function Calling + RAG built-in + Server mode (OpenAI API互換)・iPhone/Snapdragon/MediaTek/Jetson等のmobile/edge deployに最適化。
概要
Nexa AI SDK は、2024年に中国Shanghai拠点のNexa AI (2023年設立スタートアップ・YC W24採択) が発表したOn-Device Multimodal LLM SDK。OSS Apache 2.0 License・GitHub Star 5,000+ (2024年Q4)・累計DL 50万+。C++/Python実装・GGUF/MLX/ONNX/PyTorch model format対応・Edge Device (iOS/Android/macOS/Windows/Linux/Web) 最適化推論を提供。Multimodal AI Capability (Text Generation / Vision Language Model / Audio Recognition / Text-to-Speech / Speech-to-Text / Embedding) を統一SDKで提供 + Function Calling (Tool use) + RAG (Retrieval-Augmented Generation) built-in + Server mode (OpenAI API互換 endpoint) で Application Developer のOn-Device AI参入障壁を最小化。iPhone (Apple Neural Engine利用) / Snapdragon X Elite (Qualcomm NPU) / MediaTek Dimensity NPU / NVIDIA Jetson等のmobile/edge deployに最適化・Hardware-specific GPU/NPU加速対応。
主な特徴・仕組み
- Cross-Platform: iOS / Android / macOS / Windows / Linux / Web (WebAssembly) ・統一SDK
- Multimodal: Text (LLM) + Vision (VLM) + Audio (ASR) + TTS + STT + Embedding 統合
- Model Format: GGUF (llama.cpp) + MLX (Apple Silicon) + ONNX + PyTorch + Safetensors
- Hardware加速: Apple Neural Engine (ANE) / Qualcomm Hexagon NPU / MediaTek APU / NVIDIA GPU / Intel iGPU / Apple Metal GPU
- Function Calling: OpenAI-compatible tool use・JSON Schema定義 + Custom Tool統合
- RAG built-in: Vector store (Chroma/Qdrant) connector + Embedding統合 + Retrieval API
- Server Mode:
nexa server <model>でOpenAI API compat endpoint立上・既存OpenAI SDK流用可能 - License: Apache 2.0 (OSS) + Nexa AI Cloud (Hosted・$10-$30/mo)
- Distribution: pip / npm / Swift Package Manager / Maven (Android)
- CLI Pattern:
nexa run llama3.2,nexa pull qwen2.5-vl,nexa serve nomic-embed-text
スペック比較表
| On-Device AI SDK | Multimodal | Platform | NPU加速 | License |
|---|---|---|---|---|
| Nexa AI SDK | ◎ (Text/Vision/Audio/TTS/STT) | iOS/Android/macOS/Web | ○ (ANE/Hexagon/APU) | Apache 2.0 |
| Ollama | △ (Text only・Vision一部) | macOS/Linux/Windows | △ | MIT |
| llama.cpp | △ (Text + 一部VLM) | All | △ (Metal/CUDA) | MIT |
| MLC-LLM | ○ (Text + VLM) | All + iOS/Android | ○ | Apache 2.0 |
| Apple MLX | △ (Text + 限定) | macOS/iOS only | ◎ (ANE+GPU) | MIT |
具体例・対応製品
- Nexa AI SDK (Standard): pip/npm/SPM install・$0・OSS Apache 2.0
- Nexa Studio (Desktop App・2024年Q4): GUI LLM管理・$0・macOS/Windows/Linux
- Nexa AI Cloud Pro ($10/mo): Hosted endpoint・API call billing・iOS App統合最適化
- iOS App事例: Nexa AI demoでiPhone 15 ProでLlama 3.2 1Bが10 tok/s実行・Apple Neural Engine活用
- Android App事例: Snapdragon X Elite搭載Galaxy Book4 Edge でQwen 2.5 7Bが15 tok/s実行・Hexagon NPU活用
自作PCでの選び方・注意点
Nexa AI SDK は「Cross-Platform On-Device AI App開発」「iPhone/Android Mobile App AI機能」「Edge Device Multimodal AI」用途の本命OSS SDK。Ollama (Text only/Desktop中心) と異なり Mobile/Web/Embedded まで広範囲対応 + Multimodal AI Capability一括提供で App Developer のOn-Device AI参入障壁を大幅削減。Apple Neural Engine / Qualcomm Hexagon NPU / MediaTek APU 等のHardware加速対応で iPhone 15 Pro/16等で Llama 3.2 1B 10 tok/s・Snapdragon X Elite で Qwen 2.5 7B 15 tok/s 等の実用速度。Function Calling + RAG built-in でAgent Application開発も簡素化。一方Open Source community活動量はOllama/llama.cppより小規模 (Star 5k vs Ollama 90k+) で Bug報告対応・Contributor生態系はまだ発展途上。Nexa AIブランド (中国Shanghai拠点・YC W24) の事業継続性も注視必要。
関連用語との違い
- vs Ollama: Nexa AI SDKはMobile/Web対応 + Multimodal・OllamaはDesktop Text only中心
- vs MLC-LLM: 両方Cross-platform・Nexa AIはMultimodal + Function Calling統合・MLC-LLMはModel optimization重視
- vs Apple MLX: MLXはApple Silicon専用・Nexa AIはCross-platform対応 + Multimodal
よくある質問（FAQ）
Q1: iPhone上でどんなモデルが動く？ A: iPhone 15 Pro/16でLlama 3.2 1B 約10 tok/s実行可能・Qwen2.5-VL 3B (Vision) 約5 tok/s・Whisper Tiny (STT) リアルタイム・Apple Neural Engine 17 TOPS活用。Llama 3.2 3B以上はメモリ制約で実用困難。
Q2: Function Callingの実装例は？ A: OpenAI-compatible JSON Schema tool定義でAgent Application開発可能。例: Weather API/Calendar API/Web Search Custom toolをJSON Schema宣言→Nexa LLMが必要時tool呼び出し・結果integrated応答生成。
Q3: Nexa AIブランドは信頼できる？ A: 2023年設立・YC W24採択・$5M Seed (2024年Q2)・チームMIT/Stanford/CMU出身研究者中心・GitHub Star 5k+ + 累計DL 50万+で短期間で評価獲得。中国Shanghai拠点だが研究/開発はGlobal team・Open Source community活動継続中。
まとめ
Nexa AI SDK = 2024年Nexa AI (YC W24) 発表のOn-Device Multimodal LLM SDK。OSS Apache 2.0・iOS/Android/macOS/Web対応・Multimodal (Text/Vision/Audio/TTS/STT) + Function Calling + RAG統合・Apple ANE/Qualcomm NPU加速のEdge AI推論SDK。Mobile App AI機能の参入障壁を最小化する主軸OSS。