MoEゲーティングネットワーク（エムオーイーゲーティングネットワーク）
MoEゲーティングネットワーク（ルーター）は、Mixture-of-Expertsモデルにおいてトークンの隠れ表現から各エキスパートへの割り当てスコアを計算する小規模なニューラルネットワークである。線形変換＋Softmax方式が基本形で、Top-Kフィルタリングによりスパース活性化を実現する。
MoEゲーティングネットワークとは、Mixture-of-Expertsモデルでトークンとエキスパートのマッチングを制御する中枢コンポーネントである。「ルーター」とも呼ばれ、どのエキスパートがどのトークンを処理すべきかを動的に判断する。
概要
ゲーティングネットワークの基本アーキテクチャは非常にシンプルで、隠れ表現ベクトル h（例: 4096次元）を入力として、エキスパート数 N 次元の確率分布を出力する線形変換 g(h) = Softmax(W_g * h) である。ここで W_g は N × d_model の重み行列で、学習可能なパラメータとして更新される。
この確率分布から上位 K 個のエキスパートが選択され、それぞれの出力がゲート値（確率）で加重平均される。例えばTop-2選択の場合、出力 y は y = g_1 * E_1(h) + g_2 * E_2(h) となる（g_1, g_2は正規化されたゲート値、E_1, E_2は選択されたエキスパートの出力）。
2024-2026年のMoEモデルでは、この基本形に様々な改良が加えられている。DeepSeek-V3のBias項による負荷分散、Qwen3のDynamic Top-K選択、Phi-4-MoEのSoft Routing（全エキスパートに微小重み付与）など、モデルごとに独自のゲーティング戦略が開発されている。
ゲーティングの実装パターン
標準 Linear Gate（Mixtral方式）
最もシンプルで広く使われる実装。gate_logits = W_g @ h で各エキスパートのスコアを計算し、Softmax後にTop-Kを選択する。Mixtral 8x7B/8x22Bで採用。利点は実装の単純さとデバッグの容易さ。
Noisy Top-K Gate（Shazeer方式）
2017年のShazeerらの論文で提案された手法。ゲートlogitsにガウスノイズを付加してからTop-Kを選択する。ノイズにより探索が促進され、学習初期にエキスパートの利用が均等化される。Switch Transformerで採用。
Auxiliary-loss-free Gate（DeepSeek-V3方式）
従来の補助損失関数（Load Balancing Loss）を廃止し、各エキスパートに学習可能なBias項を付与する方式。Bias項がエキスパートの「人気度」を調整し、過負荷エキスパートのBiasを下げることで負荷分散を実現する。補助損失がメインタスクの学習を阻害しないため精度向上が報告されている。
ゲーティング手法の比較
| 手法 | 代表モデル | 負荷分散メカニズム | 精度影響 | 実装難度 |
|---|---|---|---|---|
| Linear + Aux Loss | Mixtral | 補助損失関数 | やや低下 | 低 |
| Noisy Top-K | Switch Transformer | ガウスノイズ注入 | 中程度 | 低 |
| Aux-loss-free + Bias | DeepSeek-V3 | 学習可能Bias項 | 低下なし | 中 |
| Expert Choice | EC-MoE (Google) | エキスパート側選択 | 高い | 高 |
| Soft MoE | Phi-4-MoE一部 | 全エキスパート微小重み | 高い | 中 |
ゲーティングの学習ダイナミクス
- 初期段階（0-10%学習）: ルーターは実質ランダムに近い割り当て。Noisy Gateやload balancing lossが重要
- 中期段階（10-50%学習）: エキスパートの特化が始まる。数学向き・コード向き・多言語向きなどの分化が観察される
- 後期段階（50-100%学習）: 特化が安定し、特定ドメインのトークンが特定エキスパートに高確率でルーティングされる
- 過学習リスク: ルーターが特定パターンに固定化すると、一部エキスパートが未使用になる「エキスパート崩壊」が発生。Z-loss正則化で予防する
ゲーティング設計の選び方
- 学習安定性重視: Noisy Top-K Gate + 補助損失が最もロバスト。初めてMoEを実装する場合に推奨
- 精度最大化: DeepSeek-V3のAuxiliary-loss-free方式が2025年時点で最良の結果を報告。ただし実装がやや複雑
- 推論効率重視: Top-1ゲーティング（Switch Transformer方式）で最大スパース性を確保。精度はTop-2に若干劣る
- ファインチューニング互換性: 標準Linear Gateが最もLoRA等との互換性が高く、既存ツールチェーンのサポートが充実
よくある質問（FAQ）
Q1: ゲーティングネットワーク自体のパラメータ数はモデル全体の何%を占めるのか？ A: ゲーティングネットワークは単一の線形変換層（d_model × N_experts）で、パラメータ数は非常に小さい。Mixtral 8x7B（d_model=4096, N=8）の場合、各Transformerブロックのルーターは4096×8=32,768パラメータで、モデル全体の0.001%未満。計算コストもほぼ無視できる。
Q2: ゲーティングの結果を可視化することはできるのか？ A: はい。ルーターのゲート確率を抽出し、トークンごとにどのエキスパートが選択されたかをヒートマップで可視化する手法が一般的。Mixtral 8x7Bでは「If」「def」「import」などのコードトークンがエキスパート4に集中し、日本語トークンがエキスパート7に集中する傾向が報告されている。
Q3: ゲーティングはTransformerの全レイヤーで同じ構成にすべきか？ A: 必ずしもそうではない。研究レベルでは、浅い層はデンス（全エキスパート活性化）、深い層はスパース（Top-K選択）にするハイブリッド構成が効果的との報告がある。ただし2025年時点の主要モデル（Mixtral, DeepSeek, Qwen）は全層同一構成を採用しており、実用上は統一構成で十分な性能が得られている。
まとめ
- ゲーティングネットワークはMoEのルーティング判断を担う軽量コンポーネント
- 基本形は線形変換+Softmax+Top-K、DeepSeek-V3のBias方式が2025年の最先端
- 負荷分散メカニズム（補助損失 or Bias項）の設計がモデル品質に直結
- 学習中にエキスパートの特化パターンが自然に形成される