Phi-3.5-MoE (Microsoft 2024)（ファイサンテンファイブモエマイクロソフト2024）
Microsoft 2024年8月発表 SLM (Small LM)。総42B / アクティブ 6.6B MoE・GPT-3.5 Turbo 凌駕・モバイル動作可能
概要
Phi-3.5-MoE は 2024年8月20日に Microsoft が発表した小型 LLM（SLM = Small Language Model）の MoE 版（論文 arXiv:2408.07009「Phi-3 Technical Report」+ MoE 拡張、HuggingFace: microsoft/Phi-3.5-MoE-instruct）。総パラメータ 42B（420億）・アクティブ 6.6B（推論時計算量、総 16%）・4.9T トークン学習で GPT-3.5 Turbo 凌駕性能（MMLU 78.9% vs GPT-3.5 70.0%）を達成、特に「モバイル・エッジデバイスで動作可能なサイズ」が革命的。
Phi シリーズは 2023年6月 Phi-1（1.3B、コード特化）から始まり、Phi-1.5（1.3B、汎用）・Phi-2（2.7B）・Phi-3（3.8B/7B/14B）・Phi-3.5（mini/vision/MoE）と進化してきた Microsoft の「Small but Mighty」LLM 系統。Microsoft Research India の Suriya Gunasekar・Yi Zhang・Ronen Eldan・Sebastien Bubeck らが「Textbooks Are All You Need」哲学（高品質教科書データで小型モデル学習）を推進、Phi-3.5-MoE はこの哲学を MoE スケールアップで進化させた集大成。
価格 無料（Hugging Face 公開）+ Azure AI Studio 経由 API 利用可。MIT ライセンスで商用利用可、エッジデバイス・スマホ LLM 革命の先駆者として位置付けられる。
主な特徴・仕組み
- アーキテクチャ: Mixture-of-Experts + GroupedQueryAttention
- 総パラメータ: 42B（420億）
- アクティブパラメータ: 6.6B（推論時計算量、総 16%）
- エキスパート構成: 16 expert
- アクティブ Expert: トークンごとに top-2 / 16 を選択
- 学習データ: 4.9T トークン（合成データ + Web + 教科書）
- コンテキスト長: 128K トークン
- 学習哲学: 「Textbooks Are All You Need」（高品質教科書データ重視）
- 性能: MMLU 78.9%・MT-Bench 8.06・GSM8K 88.7%
- GPT-3.5 Turbo 凌駕: ほぼ全ベンチで凌駕（GPT-3.5 70.0% MMLU）
- メモリ要件: 推論時 13GB VRAM（FP16）・8GB（INT8）・4GB（INT4）
- スマホ動作: iPhone 16 Pro 8GB で INT4 動作可能
- OS バージョン: Phi-3.5-MoE-instruct (2024-08)・Azure 統合版あり
スペック比較表
| 項目 | Phi-3.5-MoE (2024) | Phi-3.5-mini | DeepSeek-V2 | Mixtral 8x7B |
|---|---|---|---|---|
| 総パラメータ | 42B (MoE) | 3.8B (Dense) | 236B (MoE) | 47B (MoE) |
| アクティブ | 6.6B | 3.8B | 21B | 13B |
| コンテキスト | 128K | 128K | 128K | 32K |
| MMLU | 78.9% | 69.0% | 78.5% | 71.4% |
| MT-Bench | 8.06 | 7.74 | 8.97 | 8.30 |
| メモリ (INT4) | 4GB | 2.5GB | 60GB | 12GB |
| スマホ動作 | あり | あり | 不可 | 不可 |
具体例・対応製品
- microsoft/Phi-3.5-MoE-instruct (HuggingFace 2024-08): 公式 instruct 版
- Azure AI Studio Phi-3.5-MoE: $0.05/1M 入力・$0.20/1M 出力・GPT-4 の 1/600
- ONNX Runtime Phi-3.5-MoE: モバイル最適化、iPhone / Android 動作
- DirectML Phi-3.5-MoE: Windows GPU 加速、Surface 等で動作
- Ollama phi3.5-moe (2024-09): ローカル動作、Mac mini M2 等で実用
選び方・注意点
- スマホ LLM の革命: 42B MoE が iPhone 16 Pro で INT4 動作、エッジ AI の新時代
- GPT-3.5 代替: API 価格 1/600 + 性能向上、GPT-3.5 用途で完全代替可
- 128K コンテキスト: 大規模文書 RAG・コード理解で実用性高
- 教科書データ哲学: 一般 Web データより高品質、特に数学・コード・科学領域で強い
- MIT ライセンス: 商用利用可、Azure 経由なら無料枠あり
- モバイル最適化: ONNX Runtime + INT4 で iPhone 16 Pro / Android Pixel 9 動作可
- 競合との比較: DeepSeek-V2 より小さく性能近い、Mixtral 8x7B より明確に上回る
関連用語との違い
| 用語 | 違い |
|---|---|
| Phi-3.5-MoE (2024) | 42B/6.6B MoE・モバイル動作・教科書データ |
| Phi-3.5-mini (2024) | 3.8B Dense・更に軽量 |
| DeepSeek-V2 (2024) | 236B/21B MoE・大規模高性能 |
| OLMoE (2024) | 7B/1.3B MoE・完全オープン |
| Snowflake Arctic (2024) | 480B/17B MoE・データクラウド系 |
よくある質問（FAQ）
Q1: なぜ MoE なのに 42B と小さい？ A: Microsoft の戦略：エッジ・モバイル動作を目指して総パラメータ 42B 上限を設定。DeepSeek の 671B が「大規模高性能」を目指す対極で、Phi-3.5-MoE は「小型高性能」を目指す。MoE 構造で総 42B でもアクティブ 6.6B しか計算しないため推論コスト低い。
Q2: スマホで動かす実際の感覚は？ A: iPhone 16 Pro 8GB で INT4 量子化版（4GB）が動作、推論速度 8-15 tok/s（実用範囲）。バッテリー消費は GPS + 動画より少なく、1 時間連続使用で 10-15% 程度。ChatGPT 級応答品質をオフライン・無料で実現、プライバシー重視層に革命。
Q3: 教科書データ哲学とは？ A: Microsoft Research の Sebastien Bubeck らが提唱した「Textbooks Are All You Need」（2023 論文）哲学。Web の雑多なデータより、教科書・専門書・コード・数学等の高品質データで学習する方が小型モデルでも高性能達成可能、というアプローチ。Phi-1 (2023) で初実証、Phi-3.5-MoE で集大成。
まとめ
- Microsoft 2024年8月発表・SLM MoE 革命モデル
- 42B 総 / 6.6B アクティブ・GPT-3.5 Turbo 凌駕性能
- 「Textbooks Are All You Need」哲学の集大成
- iPhone 16 Pro で INT4 動作可・スマホ LLM 革命
- MIT ライセンス・商用利用可・Azure 統合