OLMoE（オーエルエムオーイー）

OLMoEとは

OLMoE（Open Language Model with Mixture-of-Experts）は、AI2（Allen Institute for Artificial Intelligence）が2024年8月に公開した完全オープンソースのMixture-of-Experts言語モデルである。6.9Bパラメータのうち各トークンでアクティブになるのは1.3Bで、Llama 3.1 3.2B同等の性能を約半分の計算量で実現する。学習データ・コード・重み・評価全てが公開された、研究目的に最適なMoEモデル。

主な特徴

• 完全オープンソース: モデル重み・学習データ（Dolma 2.0）・学習コード・評価フレームワーク全てをApache 2.0で公開
• 小型MoE: 総パラメータ6.9B、アクティブパラメータ1.3B。64個のエキスパートから8個を選択するTop-8ルーティング
• Dolma 2.0学習データ: 5.1Tトークンのオープンな学習コーパス。データ構成・フィルタリング・重複排除の全プロセスを公開
• OLMoプロジェクトの一環: Dense版OLMo（1B/7B/13B/65B）のMoE拡張版。同一フレームワークでDense/MoEを比較可能
• Instruction Tuning版: OLMoE-1B-7B-Instruct として指示追従版も公開
• 再現性: 学習の全ステップ（中間チェックポイント含む）を公開。研究者が完全に再現可能
• Llama 3.1 3.2B比: 同等の性能を約半分の計算量（FLOPS）で達成

スペック比較

OLMoプロジェクトの全体像

OLMoEはAI2のOLMo（Open Language Model）プロジェクトの一環：

• OLMo Dense: 1B/7B/13B/65Bの標準的なDenseモデル
• OLMoE: 6.9B（1.3Bアクティブ）のMoEモデル（本項目）
• Dolma: 学習データセット（5.1Tトークン・完全公開）
• Paloma: LLM評価フレームワーク（585ドメインの困惑度評価）
• Catwalk: 統一評価ハーネス

選び方・注意点

• 研究用途に最適: 完全オープンソースのため、MoEの動作原理研究・エキスパート分析・ルーティング改善等の研究に最適
• 本番利用: 6.9Bの小型モデルのため本番利用の性能は限定的。GPT-4oやDeepSeek-V3には遠く及ばない
• GPU要件: 1.3Bアクティブのため推論は軽量。RTX 3060（12GB VRAM）でも動作可能
• Dense OLMoとの比較: 同じ計算予算でDense OLMo 1Bより高性能。MoEの効率性を体感できる
• 日本語性能: 英語中心の学習データのため日本語性能は限定的

よくある質問（FAQ）

Q1: OLMoEを個人のPCで動かせる？ A: 可能。6.9B（アクティブ1.3B）の小型モデルのため、RTX 3060 12GBで推論可能。GGUF量子化版ならCPUのみ（16GB RAM）でも動作する。LM StudioやOllamaで簡単に利用可能。

Q2: なぜAI2は全てをオープンにしているのか？ A: AI2の理念は「AI for the Common Good」（公共の利益のためのAI）。商用LLMが学習データやアーキテクチャを非公開にする中、AI研究の透明性・再現性・民主化を重視。OLMoプロジェクト全体がこの理念に基づく。

Q3: OLMoEとMixtralはどちらがMoE研究に適している？ A: 研究にはOLMoE一択。Mixtralは学習データ・コードが非公開で再現不可能。OLMoEは中間チェックポイント・学習ログ・データ構成全てが公開されているため、MoEの学習ダイナミクス分析等の研究が可能。

まとめ

• OLMoEはAI2製の完全オープンソースMoEモデル（6.9B/1.3Bアクティブ）
• 学習データ・コード・重み・評価全てをApache 2.0で公開した透明性重視の設計
• 小型ながらLlama 3.1 3.2B同等性能を半分の計算量で実現
• MoE研究の基盤として最適、商用利用よりアカデミック用途向け