Phi-4 Multimodalとは？（ファイフォーマルチモーダル）意味・特徴をわかりやすく解説

Q: Phi-4 Multimodalとは？

MicrosoftのPhi-4シリーズのマルチモーダル版。5.6Bパラメータで音声・画像・テキストの3モダリティを単一モデルで処理し、Qualcomm NPU向け最適化でエッジAI用途に特化。

Phi-4 Multimodal — エッジ特化の軽量マルチモーダルSLM

概要

MicrosoftのPhiシリーズは、2023年から「小さいモデルで大きいモデルを超える品質」をコンセプトに展開されるSLM（Small Language Model）ファミリー。Phi-4（2024年12月）はテキスト専用14Bモデルとして登場し、Phi-4 Multimodalは2025年2月にその多モーダル拡張版として公開された。

マルチモーダル設計の特徴

Phi-4 MultimodalはMixture-of-Modalitiesアーキテクチャを採用:

モダリティ	処理方式	精度目標
テキスト	Phi-4テキストデコーダー	Phi-4と同等
画像	CLIP-ViT-L/14 エンコーダー	224px→可変タイル
音声	Whisper-Large-V3相当	WER 3.0%以下(英語)

ユニークな点: 音声+画像+テキストを同時に1プロンプトに混在させて処理できる。例えば「この写真について（音声で）説明してください」という入力（音声ファイル+画像ファイル）を1コールで処理可能。

エッジAI最適化

Qualcomm Snapdragon X Elite / 8 Gen 3 向け最適化:

INT4量子化対応（NPU推論で~10トークン/秒達成）
ONNX Runtime Mobile向けエクスポート対応
メモリフットプリント: 量子化後 ~3GB

MicrosoftとQualcommの戦略的提携（Copilot+ PC）の文脈でPhi-4 Multimodalはオンデバイス推論のリファレンスモデルとして位置付けられている。

ベンチマーク

タスク	Phi-4 Multimodal	Phi-3.5-Vision	GPT-4o-mini
DocVQA	87.4	79.9	79.7
MMMU	55.1	43.3	60.0
WER(ASR)	3.1%	N/A	-
MathVista	60.7	45.8	52.4

音声タスクを組み合わせた統合評価では既存SLMを大きく上回る。

Azure AI Studio での利用

from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential
client = ChatCompletionsClient(
    endpoint="https://&lt;endpoint>.inference.ai.azure.com",
    credential=AzureKeyCredential("&lt;api-key>")
)
response = client.complete(
    model="Phi-4-multimodal-instruct",
    messages=[{"role":"user","content":[
        {"type":"image_url","image_url":{"url":"data:image/jpeg;base64,..."}},
        {"type":"text","text":"この画像を説明してください"}
    ]}]
)

競合との差別化

vs InternVL3-4B: 音声モダリティの有無（InternVLは音声非対応）
vs Qwen2.5-VL-7B: Phi-4は軽量・エッジ特化、Qwen2.5は高精度重視
vs LLaVA-1.6-Mistral-7B: Phi-4はエッジ最適化・音声対応で優位

Phi-4 Multimodal（ファイフォーマルチモーダル）