Phi-4（ファイフォー）

Phi-4 とは

Phi-4 は、Microsoft Research が 2024 年 12 月にリリースした 14B パラメータの小型大規模言語モデル（Small Language Model: SLM）です。Phi シリーズの第 4 世代に当たり、「小さいモデルでも高品質なデータで訓練すれば大型モデルを超えられる」という Phi プロジェクトの中核哲学を体現した作品です。

主な仕様

• パラメータ数: 14B
• コンテキスト長: 16K トークン
• 語彙サイズ: 100,352 トークン
• アーキテクチャ: Transformer（デコーダーのみ）
• ライセンス: MIT
• 公開先: Azure AI Foundry / Hugging Face

学習データの革新：合成データ中心アプローチ

Phi-4 の最大の特徴は、学習データの 50% 超を合成データ（Synthetic Data） が占める点です。以下のプロセスで高品質なデータを生成しています。

1. 逆問題生成: 正解から多様な問い方の質問を逆生成
2. 教育的説明の合成: 数学問題の段階的解説テキストを LLM で大量生成
3. コードデバッグシナリオ: バグあり・修正後のコードペアを合成生成
4. Socratic 対話: 概念理解を深めるソクラテス式問答形式のデータ生成

この合成データ戦略により、Web クロールデータのノイズや有害コンテンツを排除しつつ、STEM 分野に特化した学習効率を最大化しています。

ベンチマーク性能

Phi-4 (14B) は多くのベンチマークで大型モデルと肩を並べます。

• MATH: Phi-4 80.4% / GPT-4o 74.6% / Qwen2.5-72B 78.9%
• GPQA Diamond: Phi-4 56.1% / GPT-4o 53.6% / Llama-3-70B 41.7%
• HumanEval: Phi-4 82.6% / GPT-4o 90.2% / Qwen2.5-72B 86.0%
• MMLU: Phi-4 84.8% / GPT-4o 87.2%

特に数学系の MATH ベンチマーク（80.4%）と大学院レベルの科学問題 GPQA Diamond（56.1%）では、GPT-4o を上回る性能を示しています。

コード生成能力

Phi-4 のコード生成能力は 14B モデルとして最高クラスの性能を持ちます。

• アルゴリズム問題: LeetCode 形式の競技プログラミング問題で高い解答率
• デバッグ: バグのあるコードを渡すと正確に問題を特定して修正
• テスト生成: 関数仕様からユニットテストを自動生成
• コードレビュー: コードの問題点を箇条書きで説明

エッジデバイスでの展開

• 量子化版（INT4/AWQ）: 8GB VRAM の GPU で動作（RTX 3070 以上相当）
• GGUF フォーマット: llama.cpp・Ollama で ollama pull phi4 で取得可能
• ONNX Runtime: Windows AI PC（NPU 搭載）での高速推論
• Azure AI Foundry: マネージドサービスとして API 利用可能

MIT ライセンスと完全な商用利用

Phi-4 は MIT ライセンスで公開されており、商用製品への組み込み・改変・再配布が完全に自由です。スタートアップや小規模チームが低コストで AI 機能を製品に組み込む際の有力な選択肢となっています。