Mixture-of-Experts（MoE）アーキテクチャ（ミクスチャーオブエキスパーツアーキテクチャ）
Mixture-of-Experts（MoE）は、複数の専門サブネットワーク（エキスパート）とゲーティング機構を組み合わせ、入力トークンごとに一部のエキスパートのみを活性化するスパースモデル設計手法である。総パラメータ数を大幅に増やしつつ推論時の計算コストを抑制できる点が最大の特徴で、Mixtral 8x7B・DeepSeek-V3・Gemini 1.5 Pro など2024-2026年の主要LLMが採用している。
Mixture-of-Experts（MoE）アーキテクチャとは、複数の専門ネットワーク（エキスパート）をルーティング機構で切り替えるスパースモデル設計である。全パラメータを常時使うデンスモデルと異なり、入力トークンごとに Top-K のエキスパートだけが計算に参加するため、総パラメータ数の割に推論 FLOPS を低く保てる。
概要
MoE の着想は 1991 年の Jacobs らの論文に遡るが、LLM 領域で本格的に注目を集めたのは 2024 年 1 月の Mixtral 8x7B リリース以降である。従来のデンス 7B モデルと同等の推論コストで 45B 相当のパラメータ容量を持ち、多くのベンチマークで LLaMA 2 70B を上回る精度を達成した。2025-2026 年には DeepSeek-V3（671B 総パラメータ / 37B 活性化）、Phi-4-MoE（16 エキスパート / 2 活性化で 17B 活性化）、Qwen3-235B-A22B、Google Gemini 1.5 Pro など、商用・OSSともに MoE 採用が標準化しつつある。
MoE の基本構成は エキスパート層（Feed-Forward Network を複数コピー）と ゲーティングネットワーク（ルーター）の 2 コンポーネントである。Transformer の各ブロック内で、Self-Attention は共有のまま、FFN 部分を N 個のエキスパートに分割し、ルーターが各トークンに対して Top-K（通常 K=2）のエキスパートを選択してその出力を加重平均する。
主な特徴・仕組み
- スパース活性化: 入力トークンごとに全エキスパートのうち Top-K（通常 2 個）のみを計算に使用。Mixtral 8x7B は 8 エキスパート中 2 つを選択し、推論 FLOPS は約 12.9B 相当に抑制
- パラメータ効率: DeepSeek-V3 は総 671B パラメータだが活性化パラメータは 37B。デンスモデルなら 37B 相当の計算量で 671B の知識容量を活用できる
- スケーラビリティ: エキスパート数を増やすだけでモデル容量を拡大可能。Google の Switch Transformer は 1.6T パラメータ（2,048 エキスパート）を実現
- 学習効率: 同じ計算予算でデンスモデルより 2-4 倍速く収束する傾向がある（Google Brain の研究、2022年）
- 推論レイテンシ: 活性化パラメータがデンスモデルより少ないため、同等精度のデンスモデルと比較してトークン生成速度が 1.5-3 倍高速
- メモリ要件: 全エキスパートの重みを VRAM に保持する必要があるため、総メモリ使用量はデンスモデルより大きい。Mixtral 8x7B は FP16 で約 90GB VRAM が必要
- エキスパート特化: 学習が進むとエキスパートが特定のドメインや言語に自然と特化する傾向がある。Mixtral では数学・コード・多言語処理で異なるエキスパートが活性化する
- Fine-grained MoE: DeepSeek-V2/V3 は 1 エキスパートを複数の小さなサブエキスパートに分割する Fine-grained MoE を採用し、ルーティング精度を向上
主要 MoE モデル比較
| モデル | 総パラメータ | 活性化パラメータ | エキスパート数 | Top-K | リリース | 特徴 |
|---|---|---|---|---|---|---|
| Mixtral 8x7B | 46.7B | 12.9B | 8 | 2 | 2024-01 | 初の商用級 OSSMoE、Apache 2.0 |
| Mixtral 8x22B | 176B | 39B | 8 | 2 | 2024-04 | 大型版、多言語強化 |
| DeepSeek-V2 | 236B | 21B | 160 | 6 | 2024-05 | Fine-grained MoE + DeepSeekMoE |
| DeepSeek-V3 | 671B | 37B | 256 | 8 | 2025-01 | MLA + MoE、コスト効率最高 |
| Phi-4-MoE | 66B | 17B | 16 | 2 | 2025-07 | Microsoft、小型高効率 |
| Qwen3-235B-A22B | 235B | 22B | 128 | 8 | 2025-04 | Alibaba、長コンテキスト |
| Gemini 1.5 Pro | 非公開 | 非公開 | 非公開 | 非公開 | 2024-02 | Google、1M コンテキスト |
デンスモデルとの違い
| 比較項目 | デンスモデル（LLaMA 3 70B） | MoE モデル（Mixtral 8x7B） |
|---|---|---|
| 総パラメータ | 70B | 46.7B |
| 推論活性化 | 70B（全パラメータ） | 12.9B（Top-2 エキスパート） |
| 推論速度 | 基準 | 約 2-3 倍高速 |
| VRAM 使用量 | FP16 で約 140GB | FP16 で約 90GB（全エキスパート保持） |
| 学習収束 | 基準 | 2-4 倍速い収束 |
| ベンチマーク精度 | MMLU 79.5 | MMLU 70.6（パラメータ効率では優位） |
MoE モデルの選び方・注意点
MoE モデルを自作 PC やローカル環境で運用する際のポイントを整理する。
- VRAM 要件を正確に見積もる: Mixtral 8x7B は Q4_K_M 量子化でも約 26GB VRAM が必要。RTX 4090（24GB）1 枚では収まらず、2 枚構成か RTX 5090（32GB）が必要
- 量子化との相性: MoE は量子化耐性が高い傾向にある。GGUF Q4_K_M でもデンスモデルの Q6_K に匹敵する精度を維持するケースが多い
- オフロード戦略: llama.cpp の
--n-gpu-layersでエキスパートの一部を CPU にオフロード可能。ただしエキスパート切替時に CPU-GPU 間転送が発生し速度低下する - エキスパート並列: 複数 GPU 環境では EP（Expert Parallelism）で各 GPU にエキスパートを分散配置し、通信オーバーヘッドを最小化する
- バッチ推論での優位性: サーバー運用時、異なるリクエストが異なるエキスパートを使うため、バッチ処理での GPU 利用効率がデンスモデルより高い
よくある質問（FAQ）
Q1: MoE モデルはデンスモデルより精度が高いのか？ A: 同じ推論コスト（FLOPS）で比較するとMoEの方が高精度になる傾向がある。ただし同じ総パラメータ数で比較すると、デンスモデルの方がパラメータあたりの利用効率は高い。MoEの利点は「少ない計算量で大きなモデル容量を活用できる」点にある。
Q2: MoE モデルのローカル実行に必要な最低スペックは？ A: Mixtral 8x7B の Q4_K_M 量子化版で約 26GB VRAM が目安。RTX 4090 + CPU オフロードか、RTX 3090×2（各 24GB）の構成が現実的。DeepSeek-V3 のフル精度は 1.2TB 以上の VRAM が必要で個人環境では非現実的だが、Q4 量子化で約 340GB まで圧縮可能。
Q3: Fine-grained MoE と通常の MoE の違いは？ A: 通常の MoE は各エキスパートが独立した FFN（例: 隠れ層 4096 次元）だが、Fine-grained MoE は 1 つのエキスパートをさらに小さなサブエキスパート（例: 隠れ層 1024 次元×4）に分割する。DeepSeek-V2 で提案された手法で、ルーティングの粒度が細かくなりトークンとエキスパートのマッチング精度が向上する。
Q4: MoE モデルの学習にはどのようなインフラが必要か？ A: Mixtral 8x7B クラスの学習には A100 80GB×64 台以上が目安。DeepSeek-V3 は H100×2048 台で約 2 ヶ月の学習を実施し、学習コストは約 557 万ドルと報告されている。エキスパート並列とデータ並列を組み合わせた 3D 並列化が標準的な手法。
まとめ
- MoE は複数エキスパートの Top-K 選択によるスパース活性化で、大容量モデルを低コストで推論する手法
- Mixtral 8x7B で OSS 普及、DeepSeek-V3・Qwen3-235B で商用レベルに到達
- 推論速度・学習効率でデンスモデルに優位だが、VRAM 総量と通信コストに注意
- ローカル運用では量子化 + GPU オフロードの組み合わせが実用的