MoE(Mixture of Experts)（エムオーイー）
LLM疎活性化専門家混合アーキテクチャ。Mixtral 8x22B/8x7B・DeepSeek V3/R1(671B・37B active)・Qwen3-235B-A22B・Llama 4 Maverick(400B・17B active)・Grok-2・GLM-4.5 MoE・Switch Transformer派生、全パラ推論不要で2026年Frontier LLM定番、expertルーティング+負荷分散最適化。
概要
MoE（Mixture of Experts）は、LLMの疎活性化を実現する専門家混合アーキテクチャである。
2025年に登場した Mixtral 8x22B は、22B の専門家を 8 つのグループに分割し、
推論時に必要な専門家だけを呼び出すことで、計算量を 70 % 以上削減した。
2026年に発表された DeepSeek V3 は、671B のパラメータを持ち、
37B の専門家をアクティブにして推論を行う。
このように、専門家ルーティングと負荷分散最適化を組み合わせることで、
全パラメータを読み込まずに高速推論が可能となった。
主な特徴・仕組み
- 疎活性化：入力に応じて 1 % 〜 5 % の専門家だけがアクティブになる。
- 専門家ルーティング：各トークンに対し、最適な専門家を選択する。
- 負荷分散最適化：GPU のメモリ使用率を 30 % まで抑える。
- Switch Transformer 派生：Switch Transformer のスケーラビリティを継承。
- 全パラ推論不要：推論時に 400B のパラメータを読み込む必要がない。
- 2026年 Frontier LLM 定番：Llama 4 Maverick（400B）や Qwen3-235B-A22B で採用。
スペック/製品比較表
| 製品名 | 総パラメータ | アクティブ専門家 | 推論速度（推定） | メモリ使用率 |
|---|---|---|---|---|
| Mixtral 8x22B | 8 × 22B | 22B | 5.7 GHz | 24GB GDDR7 |
| DeepSeek V3 | 671B | 37B | 5.7 GHz | 32GB |
| DeepSeek R1 | 671B | 37B | 5.7 GHz | 32GB |
| Qwen3-235B-A22B | 235B | 22B | 5.7 GHz | 24GB GDDR7 |
| Llama 4 Maverick | 400B | 17B | 5.7 GHz | 24GB GDDR7 |
| Grok-2 | 400B | 17B | 5.7 GHz | 24GB GDDR7 |
| GLM-4.5 MoE | 400B | 17B | 5.7 GHz | 24GB GDDR7 |
具体例・対応製品
- Mixtral 8x22B： 8 × 22B の専門家を持ち、推論時に 5 % の専門家を選択。
- DeepSeek V3： 671B のパラメータを 37B の専門家で分割。
- DeepSeek R1： V3 の改良版で、専門家間の通信を 10 % 低減。
- Qwen3-235B-A22B： 235B のパラメータを 22B の専門家で疎活性化。
- Llama 4 Maverick： 400B のパラメータを 17B の専門家で実装。
- Grok-2： 400B のパラメータを 17B の専門家で高速化。
- GLM-4.5 MoE： 400B のパラメータを 17B の専門家で実装。
自作PCでの選び方・注意点
- GPU： 24GB GDDR7 のメモリを搭載した RTX 5090 などが推奨。
- CPU： Ryzen 9 9950X3D で 5.7GHz のクロックを確保。
- メモリ： 64GB DDR5-6000 でバッファリングを最適化。
- ストレージ： 1TB NVMe SSD で高速データロード。
- 電源： 850W 80+ Platinum で安定供給。
- 冷却： 360mm AIO ラジエーターで 5.7GHz の負荷を緩和。
- ソフトウェア： CUDA 12.1、cuDNN 8.9 で最適化。
- ライブラリ： Hugging Face Transformers 4.40 で MoE モデルをロード。
関連用語との違い
- Switch Transformer： ルーティングは単純で、専門家数が固定。
- Mixture of Experts： ルーティングは学習で最適化され、専門家数が可変。
- Sparse Transformer： 位置情報を疎に扱うが、専門家は存在しない。
- Dense Transformer： 全パラメータを常に使用。MoE は疎活性化で計算削減。
よくある質問
Q1：MoE はどの程度のコスト削減が期待できますか？
A1：専門家数を 1 % に抑えると、計算量が 70 % 以上削減される。
Q2：MoE を自作PCで動かす際の最低スペックは？
A2：24GB GDDR7 GPU、Ryzen 9 9950X3D、64GB DDR5-6000 が最低ライン。
Q3：MoE はどのようなタスクに向いていますか？
A3：長文生成、対話型応答、翻訳など、複数ドメインをカバーするタスク。
まとめ
MoE は、専門家ルーティングと疎活性化により、2026年 Frontier LLM の定番となった。
Mixtral 8x22B、DeepSeek V3、Qwen3-235B-A22B、Llama 4 Maverick などが代表例である。
自作PCで実装する場合は、GPU のメモリ容量と CPU クロックを重視し、
CUDA 12.1 と cuDNN 8.9 を組み合わせることで、最適な性能を引き出せる。
次世代の AI アプリケーションでは、MoE の導入が不可欠となる。