Qwen2.5-MoE（キューウェンニーテンゴエムオーイー）

Qwen2.5-MoEとは

Qwen2.5-MoEは、Alibaba CloudのQwenチームが2025年1月に公開したMixture-of-Experts言語モデルです。Qwen2.5シリーズのMoEバリアントとして位置づけられており、57B（570億）の総パラメータのうち有効パラメータは14.3B（143億）です。

主要特性

• 総パラメータ: 57.4B
• 有効パラメータ: 14.3B（トークンごと）
• エキスパート数: 64（Top-8選択）
• コンテキスト長: 128Kトークン対応
• 対応言語: 29言語以上（英語・日本語・中国語・韓国語含む）

推論効率の優位性

Qwen2.5-MoEの最大の強みは推論効率です。

• Qwen2.5-7B（密モデル）と比べてメモリ帯域幅は同等だが、スループットが約3.6倍高速
• Qwen2.5-32B（密モデル）相当の性能を、はるかに低いGPU負荷で実現
• バッチ処理でのスループット向上が特に顕著

技術的特徴

細粒度MoEとShared Experts

Qwen2.5-MoEはDeepSeekMoEと同様に「細粒度エキスパート分割」と「共有エキスパート」を組み合わせた設計を採用。少数の共有エキスパートが全トークンで使用され、多数の専門エキスパートが選択的に呼び出されます。

学習の工夫

初期学習をQwen2-MoEから継続（継続学習）することで、効率的にQwen2.5水準の性能を達成。1-3Bトークンの追加学習でQwen2.5-32Bに近い性能を実現しています。

ベンチマーク性能

MMLU・HumanEval・GSM8K・MATH等の主要ベンチマークで、同等の有効パラメータを持つ密モデルを上回る傾向があります。特にコーディング（HumanEvalで高スコア）と数学推論（MATHで高スコア）での強さが際立っています。

公開・ライセンス

• Apache 2.0ライセンス: 商用利用可能
• Hugging Faceで公開: Qwen/Qwen2.5-MoE-A14B-Instruct
• Ollama対応: ollama pull qwen2.5-moe で実行可能
• 量子化版: GGUF・GPTQ・AWQ形式提供

ローカル実行

Ollamaを使用したローカル実行が可能で、14.3B有効パラメータのため24GB VRAMのGPUでも快適に動作します。RTX 4090やA10Gなどのコンシューマー・プロフェッショナルGPUでの実用的な利用が想定されます。

まとめ

Qwen2.5-MoEはAlibaba Cloudの多言語・多ドメインLLM開発能力を示すモデルで、MoEの効率性を活かして高性能・低コストの推論を実現しています。日本語対応も含む多言語サポートにより、日本のユーザーにとっても実用的な選択肢となっています。