Phi-4（ファイフォー）
Microsoftが2024年12月に公開した140億パラメータの小型言語モデル。合成データ中心の訓練手法により数学推論で GPT-4o を超えるスコアを達成した。
Phi-4 とは
Microsoftが2024年12月に公開した140億（14B）パラメータの小型言語モデル（SLM）。従来のPhiシリーズ（Phi-1, Phi-2, Phi-3）の設計哲学を継承しつつ、合成データ（synthetic data）を訓練の中核に置くという革新的アプローチで、パラメータ数の割に極めて高い推論性能を実現した。
主要スペック
- パラメータ数: 14B（140億）
- コンテキスト長: 16,384トークン
- 訓練トークン数: 約9.8兆トークン（うち合成データが大部分）
- アーキテクチャ: Transformer、デコーダのみ
- 語彙サイズ: 100,352トークン
- 公開ライセンス: MIT License
- 利用可能場所: Azure AI Studio、Hugging Face
合成データ訓練の革新
Phi-4最大の特徴は合成データへの依存度。通常のLLMは主にWebクロールデータを使うが、Phi-4は数学・科学・コーディングに特化した高品質な合成データセットを大規模生成し訓練した。
合成データの種類:
- 教科書スタイルのコンテンツ（数学の解説・解法）
- Socratic Q&A（ソクラテス式問答）
- 段階的な解法展開
- コード生成・デバッグ事例
このアプローチにより「Textbooks Are All You Need」という思想（Phi-1で提唱）をさらに進化させた。
ベンチマーク性能
| ベンチマーク | Phi-4 (14B) | GPT-4o | Gemini 1.5 Pro |
|---|---|---|---|
| MATH-500 | 80.4% | 74.6% | 67.0% |
| AMC 2022 | 74.4% | 58.0% | – |
| HumanEval | 82.6% | 90.2% | 84.1% |
| MMLU | 84.8% | 85.7% | 81.9% |
| GPQA Diamond | 56.1% | 50.6% | 46.2% |
数学推論（MATH-500・AMC）においてGPT-4oを超えるスコアを記録した。14Bという規模でこれを達成したことは業界に衝撃を与えた。
Phi-3との比較
Phi-3.5-MoE（旧世代）との比較:
- Phi-3.5-MoE: 41.9Bパラメータ（MoE、実効6.6B）でMMUL 78.9%
- Phi-4: 14Bパラメータ（Dense）でMMUL 84.8%
Phiシリーズは「小さくても賢い」という一貫したビジョンで開発されており、Phi-4はその集大成といえる。
活用シナリオ
エッジ推論: 14Bはコンシューマ向けGPU（RTX 4090 24GB等）で量子化（4-bit GGUF）で動作可能。
数学・教育: MATH・AMC性能から家庭教師AI・数学問題解法ツールに最適。
コーディング支援: HumanEval 82.6%でコード補完・デバッグに実用的。
RAGシステム: 16Kコンテキストを活かした長文読解・回答生成。
制限と注意点
- 合成データ訓練のため「教科書的すぎる」回答傾向（創造的タスク苦手）
- 多言語性能はGemma 2やQwen2.5に比べて限定的（英語中心）
- 16Kコンテキストは他のSLM（Qwen2.5の128K等）より短い
- チャット最適化版（phi-4-instruct）は別途SFT・RLHFが施されている
まとめ
Phi-4は「合成データ＋スケーリング効率の最大化」という設計哲学で、14Bのコンパクトなモデルが70B級の数学推論能力を持つことを実証した。特にMATH-500でGPT-4oを超えた事実はSLMの可能性を大きく広げた。MIT Licenseでの公開により商用・研究利用の両方で活用が進んでいる。