Mixtral 8x22B（ミクストラルエイトバイニジュウニビー）

Mixtral 8x22B とは

Mixtral 8x22B は、フランスのスタートアップ Mistral AI が 2024 年 4 月にリリースした大規模 Mixture-of-Experts (MoE) 言語モデルです。Apache 2.0 ライセンスで公開されており、オープンソース LLM の中で最高水準の性能を誇ります。

アーキテクチャの特徴

• 総パラメータ数: 141B（1,410 億）
• アクティブパラメータ数: 39B（推論時に実際に使用する量）
• エキスパート構成: 各レイヤーに 8 エキスパート、うち 2 エキスパートを動的選択
• コンテキスト長: 65,536 トークン（Mixtral 8x7B の 2 倍）
• 語彙サイズ: 32,000 トークン

スパース MoE 構造により、全パラメータを起動させずに 39B 相当の計算量でモデルを動かせます。Dense モデルの 141B に比べ推論コストを約 72% 削減しながら高性能を維持できます。

性能ベンチマーク

主要ベンチマークでの実績（2024 年 4 月時点）:

• MMLU: 77.8%（Llama 3 70B: 79.5%、GPT-3.5: 70.0%）
• HumanEval: 75.6%（コーディングタスク）
• GSM8K: 88.7%（数学的推論）
• MBPP: 74.9%（Python コード生成）

GPT-4 や Llama 3 70B と競合する水準で、特にコーディング・多言語・長文理解に強みがあります。

必要なハードウェア

fp16（フル精度）: A100 80GB × 2 枚以上 AWQ 4bit 量子化: A100 40GB × 1〜2 枚 GGUF Q4_K_M: 約 80GB VRAM または大容量 RAM

vLLM・llama.cpp・LM Studio などの推論エンジンに対応しています。

利用例

# vLLM での推論
from vllm import LLM, SamplingParams

llm = LLM(
    model="mistralai/Mixtral-8x22B-Instruct-v0.1",
    tensor_parallel_size=2
)
params = SamplingParams(temperature=0.7, max_tokens=512)
outputs = llm.generate(["MoE モデルの利点を説明してください。"], params)
print(outputs[0].outputs[0].text)

Mixtral 8x7B との比較

まとめ

Mixtral 8x22B は商用利用可能なオープンソース LLM としてトップクラスの性能を持ちます。MoE 構造による効率推論・65K コンテキスト・多言語対応を組み合わせ、RAG・コード生成・多言語アプリケーション開発に広く活用されています。