Mixture-of-Agents (MoA)（ミクスチャーオブエージェンツ）

Mixture-of-Agents (MoA) — 複数LLM協調アーキテクチャ

Mixture-of-Agents（MoA）は、複数の大規模言語モデルを協調させて単一モデルを超える性能を達成するアーキテクチャです。2024年6月にTogether AIの研究チームが論文「Mixture-of-Agents Enhances Large Language Model Capabilities」で提案し、オープンソースモデルの組み合わせがGPT-4oを超えられることを実証しました。

基本アーキテクチャ

MoAは以下の2種類のコンポーネントで構成されます：

提案者モデル（Proposers）

• 複数のLLMが独立して回答候補を生成
• 各モデルの強みを活かした多様な視点を提供
• 並列実行で効率化

集約モデル（Aggregators）

• 提案者モデルの出力を入力として受け取り
• 各回答の良い点を統合して最終回答を生成
• 多層構造（Layer 1→2→3）で品質を向上

Together AI の実装例

Together AI の公開実装では以下の構成でGPT-4o（AlpacaEval 2.0スコア 57.5%）を超えるスコア65.1%を達成：

Layer 1 提案者（並列実行）

• Qwen/Qwen1.5-110B-Chat
• meta-llama/Llama-3-70b-chat-hf
• mistralai/Mixtral-8x22B-Instruct-v0.1
• microsoft/WizardLM-2-8x22B

Layer 2/3 集約

• Qwen/Qwen1.5-110B-Chat（集約モデル）

MoAが効果的な理由

モデル間の相互補完性（Complementarity） 各LLMは異なるデータで訓練されており、異なる強みを持ちます。コーディングタスクではDeepSeek-Coderが優れ、日本語タスクではQwenシリーズが優れる、といった特性の組み合わせが総合性能を向上させます。

集合知の原理（Wisdom of Crowds） 複数モデルの独立した推論を集約することで、個別の誤りが相殺される効果があります。統計的に、多数の独立したモデルの統合は単一の最良モデルより安定した性能を発揮します。

文脈豊富化（Context Enrichment） 集約モデルは複数の回答候補を参照することで、単一プロンプトより豊富な情報に基づいて最終回答を生成できます。

コストとレイテンシのトレードオフ

多層構成では提案者が並列実行されるためレイテンシは線形に増加しませんが、コストはモデル数に比例します。

実用的な適用場面

適している場面

• 複雑な推論・分析タスク（コスト対精度で許容範囲内）
• 単一モデルの知識不足を補いたい専門領域
• レイテンシより品質を優先するバッチ処理
• A/Bテスト的に複数モデルの出力を比較検討したい場合

適していない場面

• リアルタイム応答が必要なチャットbot
• コスト制約が厳しいハイボリューム処理
• 単純なタスク（単一モデルで十分な場合）

2025年の発展

2025年には MoA の考え方を進化させた実装が多数登場しています。Together AI は together.ai APIで MoA エンドポイントを提供、ユーザーが自分のモデル構成を定義できるようにしました。また RouteLLM との組み合わせにより「シンプルなクエリは安価な単一モデル、複雑なクエリは MoA」という動的ルーティングも実装されています。

よくある質問

Q1: MoA と Mixture-of-Experts (MoE) の違いは？ A: MoE はモデル内部のアーキテクチャ（重みレベルでのルーティング）、MoA は複数の独立したモデル間の協調（システムレベルのアンサンブル）です。まったく異なるアプローチです。

Q2: MoA を独自に実装するには？ A: Together AI の公開コード（GitHub: togethercomputer/MoA）を参照。LiteLLM や OpenRouter と組み合わせれば任意のモデル組み合わせで実装可能です。

Q3: MoA のコストは実用的？ A: 高品質が必要な場面（法律文書作成・医療診断支援等）では正当化できますが、一般的なチャット用途ではコスト過多です。RouteLLM 等のルーティングで使い分けが現実的です。