AI・機械学習
中級
Phi-3.5-MoE（ファイスリーポイントファイブモエ）
Microsoftが2024年8月にリリースした16x3.8B構成のMoEモデル。総42B・活性6.6Bパラメータで128Kコンテキストに対応し、小型MoEの高効率・高性能を実証した。
0 回閲覧
0 いいね
2026/6/7 更新
関連タグ
Microsoft
Phi
MoE
小型LLM
128Kコンテキスト
SLM
Phi-3.5-MoE とは
Phi-3.5-MoE は、Microsoft が 2024 年 8 月にリリースした Mixture-of-Experts 言語モデルです。Microsoft の Phi シリーズ（小型・高性能モデル路線）に MoE アーキテクチャを取り入れた初のモデルで、16 エキスパート構成で総 42B パラメータを持ちながら推論時は 6.6B のみ起動します。
アーキテクチャ
| 項目 | 値 |
|---|---|
| 総パラメータ | 41.9B |
| アクティブパラメータ | 6.6B |
| エキスパート数 | 16 × 3.8B |
| コンテキスト長 | 128K トークン |
| 語彙サイズ | 32,064 トークン |
| ライセンス | MIT |
設計思想
Microsoft の Phi シリーズは「小型でも高品質データで鍛えれば大型モデルに勝てる」という哲学で開発されています。Phi-3.5-MoE はこの哲学に MoE の効率性を加えたモデルです:
- 高品質データ中心の学習: テキスト・コード・数学・推論の厳選データ
- スパース推論: 16 エキスパートのうち各トークンで 2 エキスパートのみ活性化
- 長文対応: 128K コンテキストで書類・コードベース全体の理解が可能
性能比較
| ベンチマーク | Phi-3.5-MoE | Phi-3-medium(14B) | Mistral-Nemo(12B) |
|---|---|---|---|
| MMLU | 78.9% | 78.0% | 68.0% |
| HumanEval | 85.4% | 75.0% | 68.0% |
| MATH | 59.2% | 47.7% | 39.0% |
アクティブパラメータ 6.6B と同等サイズの Dense モデルを大幅に上回ります。
Azure AI との統合
Phi-3.5-MoE は Azure AI Foundry および GitHub Models で利用可能です:
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential
client = ChatCompletionsClient(
endpoint="https://<endpoint>.inference.ai.azure.com",
credential=AzureKeyCredential("<api_key>")
)
response = client.complete(
model="Phi-3.5-MoE-instruct",
messages=[{"role": "user", "content": "128K コンテキストを活用した要約をしてください。"}]
)
ローカル推論
# Ollama
ollama run phi3.5:moe
# llama.cpp
./main -m phi-3.5-moe-Q4_K_M.gguf -n 512 -p "説明してください"
まとめ
Phi-3.5-MoE は小型 MoE の可能性を示した重要なモデルです。MIT ライセンス・Azure 統合・128K コンテキストの組み合わせにより、エンタープライズでの軽量 AI エージェント・長文解析・コード支援など幅広い用途に適しています。