小型LLM構築技術。Knowledge Distillation(Teacher-Student)・SLM(Small Language Model・1-7B param)・Phi-4 Mini 3.8B(Microsoft・2025年)・Qwen2.5 1.5B/3B・Llama 3.2 1B/3B・Gemma 3 1B/4B・MiniCPM 3 4B・SmolLM2 1.7B(HuggingFace)・TinyLlama・Mistral 7B・DeepSeek R1 Distill 8B・Teacher-forced sampling・Reasoning Distillation、2026年Edge+モバイル定着。
モデル蒸留（SLM）は、1〜7B パラメータ規模の小型言語モデルを構築する技術である。教師モデル（Teacher）から学生モデル（Student）へ知識を転送し、推論速度とメモリ使用量を大幅に削減する。2025年に登場した Phi‑4 Mini 3.8B や 2026年にリリース予定の Qwen2.5 1.5B/3B などが代表例で、エッジデバイスやモバイル向けに最適化されている。
| モデル | パラメータ | 推論速度 (CPU) | 推論速度 (GPU) | 推論精度 (BLEU) | 推奨メモリ |
|---|---|---|---|---|---|
| Phi‑4 Mini | 3.8B | 28fps | 120fps | 0.42 | 8GB |
| Qwen2.5 1.5B | 1.5B | 35fps | 140fps | 0.39 | 6GB |
| Qwen2.5 3B | 3B | 22fps | 110fps | 0.44 | 8GB |
| Gemma 3 1B | 1B | 40fps | 160fps | 0.36 | 4GB |
| Gemma 3 4B | 4B | 18fps | 100fps | 0.47 | 12GB |
| Llama 3.2 1B | 1B | 38fps | 155fps | 0.37 | 4GB |
| Llama 3.2 3B | 3B | 20fps | 105fps | 0.43 | 8GB |
| Mistral 7B | 7B | 12fps | 80fps | 0.49 | 16GB |
Q1. SLM はどの程度の推論速度を期待できますか？
A1. CPU で 20〜40fps、GPU で 100〜160fps が一般的で、エッジデバイスでも 30fps 以上が可能です。
Q2. どのモデルがモバイル向けに最適ですか？
A2. Phi‑4 Mini 3.8B と Qwen2.5 1.5B は 6GB 以内で動作し、バッテリー消費を抑えます。
Q3. 2026年に登場予定の DeepSeek R1 Distill はどのような特徴がありますか？
A3. 8B パラメータで 12fps 以上、CPU だけで動作できる点が特徴です。
モデル蒸留（SLM）は、2025年以降の次世代 AI エッジソリューションとして注目されている。Phi‑4 Mini 3.8B、Qwen2.5 1.5B/3B、Gemma 3 1B/4B、Llama 3.2 1B/3B、Mistral 7B、DeepSeek R1 Distill 8B など、数多くの実装が存在し、CPU だけでも 20fps 以上の推論が可能。自作PCでの構築時は CPU、GPU、RAM、ストレージ、電源をバランス良く選定し、冷却と電源管理を徹底することで、安定した性能を実現できる。次世代のモバイル AI での活用を視野に入れた設計は、今後の市場で重要な差別化要因となる。