ニューラルネットワークで、複数の専門家（Expert）サブネットワークから入力に応じて一部のみを選択・活性化するアーキテクチャ。巨大モデルを効率的に学習・推論するための主要技術。
Mixture of Experts（以下、MoE）は、現代の生成AI、特に大規模言語モデル（LLM）の進化を支える極めて重要なニューラルネットワーク・アーキテクチャです。従来の「Dense（密）」なモデルが、入力されたすべてのデータに対してネットワーク内の全パラメータを計算に使用するのに対し、MoEは「Sparse（疎）」な計算手法を採用しています。
MoEの核心は、モデルの総パラメータ数を膨大に増やしながらも、1回の推論（インファレンス）あたりの計算コスト（FLOPs）を抑えることにあります。この仕組みは、巨大な百科事典の中から、質問に関連するページだけを瞬時に開き、それ以外のページは読み飛ばすプロセスに似ています。
MoEアーキテクエチャは、主に以下の3つのコンポーネントで構成されます。
この構造により、モデル全体の「知識量」は数兆パラメータ規模にまで拡大可能でありながら、計算に必要な演算量は、より小さなモデルと同等のレベルに留めることが可能となります。
従来のDenseモデル（例: Llama 3.1 70Bや、初期のGPT-3など）は、モデルのパラメータ数が増えれば増えるほど、計算量も線形に増加します。これに対し、MoEは「パラメータ数（容量）」と「計算量（コスト）」を分離することに成功しました。
以下の表は、従来のDenseアーキテクチャとMoEアーキテクチャの主要な違いをまとめたものです。
| 特徴 | Denseモデル (例: Llama 3.1) | MoEモデル (例: Mixtral 8x7B) |
|---|---|---|
| パラメータの利用 | 全パラメータを常に使用 | 入力に応じて一部のエキスパートのみ使用 |
| 計算効率 (FLOPs) | パラメータ数に比例して増大 | パラメータ数に対して低く抑えられる |
| GB | メモリ使用量 (VRAM) | 中程度（モデルサイズに依存） |
| 推論レイテンシ | 計算量に依存 | 低い（計算量が少ないため） |
| 学習の難易度 | 比較的安定している | ルーターの学習（Load Balancing）が困難 |
| スケーラビリティ |
| 限界がある |
| 極めて高い（次世代の巨大モデルの主流） |
MoEの導入により、例えば「8x7B」と呼ばれるモデル（8つのエキスパートを持ち、各エキスパートが70億パラメータ規模）は、総パラメータ数は約47B（470億）に達しながらも、実際に1つのトークンを処理する際に動くのはその一部（例: 2つのエキスタート、約13B相当）だけで済むため、驚異的な推論速度を実現できます。
MoE技術は、現在、世界最高峰のAIモデルの多くに採用されています。特に、OpenAIのGPT-4（その構造はMoEであると広く推測されています）や、Mistral AI社がリリースしたMixtral 8x7B、そして近年急速にシェアを伸ばしているDeepSeek-V3などは、MoEの有効性を証明した代表的なモデルです。
具体的に、MoEがどのようにモデルの性能を押し上げているのか、以下のリストにその特徴をまとめます。
これらのモデルは、単に「賢い」だけでなく、限られた計算リソース（GPU時間）でいかに高品質な回答を得るかという、実用的な課題に対する回答となっています。
MoEモデルの運用における最大の障壁は、計算量（Compute）ではなく、メモリ容量（Memory Capacity）と帯域幅（Bandwidth）です。MoEは、計算自体は軽量ですが、モデル全体（全エキスパートの重み）をGPUのVRAM上にロードしておく必要があるため、膨大なメモリを要求します。
例えば、NVIDIA H100 (80GB HBM3) を使用して大規模なMoEモデルを運用する場合、モデルの総パラメータ数に応じたVRAMの確保が不可欠です。
MoE運用における課題リスト：
2025年、そして2026年に向けて、MoE技術はさらなる進化を遂げようとしています。これまでの「巨大なモデルをいかに動かすか」というフェーズから、「いかにエッジデバイスや小規模なインフラで、高効率なMoEを実現するか」というフェトムへ移行しつつあります。
最新のトレンドとして、以下の3つの方向性が挙げられます。
MoEは、単なる一過性のテクニックではなく、AIが「知能の爆発」を起こしながらも、エネルギー効率と計算コストの制約を克服するための、不可欠なロードマップなのです。
Q1: MoEはなぜ、モデルが巨大になっても推論が速いのですか？ A1: モデルの「総パラメータ数」は大きくても、実際に計算に使用されるのは「選ばれたエキスパート」のパラメータのみだからです。例えば、1兆パラメータのモデルであっても、ルーターが1%のエキスパートしか選ばなければ、計算量は100億パラメータのモデルに近いレベルに抑えられます。
Q2: MoEモデルを動かすのに、なぜ非常に高いVRAM容量が必要なのですか？ A2: 計算自体は一部のエキスパートだけで済みますが、次にどのエキスパートが必要になるかは入力データ次第です。そのため、あらゆる入力に対応できるよう、すべてのエキスパートの重みを常にGPUのメモリ（VRAM）上に展開しておく必要があるため、モデルの総サイズ分、巨大なメモリ空間を占有します。
Q3: MoEの学習における最大の難点は何ですか？ A3: 「ロードバランシング（負荷分散）」の維持です。ルーターが特定のエキスパートばかりを選んでしまうと、そのエキスパートの学習だけが進み、他のエキスパートが全く学習されないという事態が発生します。これを防ぐために、各エキスパートに均等にデータが流れるような特殊な損失関数（Loss Function）を用いた高度な制御技術が必要です。