Phi-3.5-MoE（ファイスリーポイントファイブエムオーイー）

Phi-3.5-MoEとは

Phi-3.5-MoEは、Microsoft Researchが2024年8月に公開したMixture-of-Experts（MoE）アーキテクチャの言語モデルです。総パラメータ41.9B（419億）のうち、1トークンの処理には16エキスパート中2つが選択され、有効パラメータは約6.6B（66億）相当となります。

アーキテクチャ設計

エキスパート構成

Phi-3.5-MoEはFFN（Feed-Forward Network）層をエキスパートに分割するスタンダードなMoE設計を採用。16個のエキスパートから上位2つをTop-K選択するルーターを使用します。

長コンテキスト対応

128Kトークンのコンテキストウィンドウに対応し、LongRoPE技術でポジショナルエンコーディングを拡張しています。

多言語サポート

英語・日本語・中国語・スペイン語・フランス語・ドイツ語・アラビア語など40言語以上に対応。日本語での性能も比較的高く、日本語タスクでの利用が可能です。

Phi-3.5ファミリー

Phi-3.5-MoEはPhi-3.5ファミリーの一員です。

• Phi-3.5-mini: 3.8Bの高効率テキストモデル
• Phi-3.5-vision: 4.2Bのマルチモーダルモデル（画像理解対応）
• Phi-3.5-MoE: 41.9B/6.6B有効の高性能テキストモデル

ベンチマーク性能

有効パラメータ6.6B相当ながら、MMLU・HumanEval・GSM8K等のベンチマークでMixtral-8x22Bや同等規模の密なモデルを上回る性能を示しています。

実用面での優位性

• MIT Licenseで商用利用可能
• Hugging Faceで公開: microsoft/Phi-3.5-MoE-instruct
• vLLMやllama.cppでのサービング対応
• 量子化版（GGUF）の提供あり

用途

コーディング補助・文書要約・多言語翻訳・チャットボット構築など幅広い用途に対応します。有効パラメータが小さいため、比較的少ないGPUリソースでも高速な推論が可能です。

まとめ

Phi-3.5-MoEはMicrosoftのSmall Language Model（SLM）戦略の延長線上にあるモデルで、MoEの効率性と多言語対応を組み合わせた実用性の高いモデルです。オープンライセンスでのリリースにより、企業・研究機関での採用事例が増加しています。