OLMoE (Allen AI 2024)（オーエルモエアレンエーアイ2024）
Allen AI 2024年9月発表完全オープン MoE LLM。総7B / アクティブ 1.3B・学習データ・コード・チェックポイント全公開
概要
OLMoE は 2024年9月3日に AI2（Allen Institute for AI、Paul Allen 創設、Washington 州 Seattle、2014年設立）が発表した完全オープン Mixture-of-Experts LLM（論文 arXiv:2409.02060「OLMoE: Open Mixture-of-Experts Language Models」、HuggingFace: allenai/OLMoE-1B-7B-0924）。総パラメータ 7B（70億）・アクティブ 1.3B・5T トークン学習で、特徴は 学習データ・学習コード・全チェックポイント・ログ・全研究プロセスを完全公開した「真のオープンソース LLM」。
従来「オープン LLM」と呼ばれるモデル（Llama 3・Mistral 等）は モデル weights のみ公開で学習データ・コードは非公開で「半オープン」状態だった。OLMoE は学習データ Dolma（3T トークン）・コード・チェックポイント・ログ・全研究プロセスを Apache 2.0 で公開し、研究者が完全に再現・改造できる初の MoE モデル。
AI2 は Microsoft 共同創業者の Paul Allen が 2014 年に設立した非営利 AI 研究機関で、OLMo (2024-02)・Tulu (2023)・Dolma (2024) 等のオープン LLM を継続的に公開してきた。OLMoE は MoE 系統での「完全オープン」を実現し、研究コミュニティから絶大な評価を受けている。
主な特徴・仕組み
- アーキテクチャ: Mixture-of-Experts（細粒度 expert 構成）
- 総パラメータ: 7B（70億）
- アクティブパラメータ: 1.3B（推論時計算量、総 19%）
- エキスパート構成: 64 expert（細粒度、Mixtral 8x7B の 8 expert より大幅多い）
- アクティブ Expert: トークンごとに top-8 / 64 を選択
- 学習データ: Dolma 3T トークン（完全公開、Web + 学術 + コード）
- 追加学習: 2T トークン Mixed Dolma（合計 5T）
- 公開範囲: weights + 学習データ + コード + チェックポイント + ログ
- コンテキスト長: 4K トークン（制限的）
- 性能: MMLU 54.1%・GSM8K 40.2%・HumanEval 39.0%
- 同サイズ Dense 比: OLMo-1B より 30-40% 性能向上
- OS バージョン: OLMoE-1B-7B-0924 (2024-09)・OLMoE-1B-7B-Instruct (2024-09)
スペック比較表
| 項目 | OLMoE (2024) | OLMo-1B Dense | DeepSeek-V2 | Phi-3.5-MoE |
|---|---|---|---|---|
| 総パラメータ | 7B (MoE) | 1B (Dense) | 236B (MoE) | 42B (MoE) |
| アクティブ | 1.3B | 1B | 21B | 6.6B |
| エキスパート数 | 64 | - | 160 | 16 |
| 学習データ公開 | あり | あり | なし | なし |
| 学習コード公開 | あり | あり | なし | なし |
| MMLU | 54.1% | 31.0% | 78.5% | 78.9% |
| ライセンス | Apache 2.0 | Apache 2.0 | DeepSeek | MIT |
具体例・対応製品
- allenai/OLMoE-1B-7B-0924 (HuggingFace 2024-09): 公式 base モデル
- allenai/OLMoE-1B-7B-0924-Instruct: instruct 版（SFT + DPO）
- allenai/dolma (HuggingFace): 学習データセット（3T トークン）公開
- allenai/OLMo-Eval: 評価コードフルセット公開
- AI2 Playground: 公式デモ環境、無料で利用可
選び方・注意点
- 研究目的最強: 学習データ・コード公開で完全再現可、学術研究・教育用途で唯一無二
- 性能は限定的: MMLU 54.1% は GPT-3 (43%) より上だが Llama 3 8B (66%) より下
- 小規模で動作軽い: 1.3B アクティブで Mac mini M2 16GB で快適動作
- 4K コンテキスト: 短文向け、長文 RAG には不向き
- Apache 2.0: 商用利用可、改造・再配布完全自由
- 64 expert 細粒度: Mixtral 8 expert より細粒度、特定タスク専門化可能
- AI2 の哲学: 「オープン AI」の理念を Paul Allen 遺志として継承
関連用語との違い
| 用語 | 違い |
|---|---|
| OLMoE (2024) | 7B/1.3B MoE・完全オープン・研究向け |
| DeepSeek-V2 (2024) | 236B/21B MoE・大規模商用 |
| DeepSeek-V3 (2024) | 671B/37B MoE・最強商用 |
| Phi-3.5-MoE (2024) | 42B/6.6B MoE・モバイル特化 |
| Snowflake Arctic (2024) | 480B/17B MoE・データクラウド系 |
よくある質問（FAQ）
Q1: 「完全オープン」と「オープン重み」の違いは？ A: 完全オープン = 学習データ + コード + チェックポイント + ログ + 全研究プロセス公開。オープン重み = モデル重みのみ公開。Llama 3・Mistral はオープン重み（学習データ非公開）、OLMoE は完全オープン（Dolma データセット完全公開）。研究再現性で完全オープンが圧倒的優位。
Q2: 64 expert 細粒度の効果は？ A: Mixtral 8x7B の 8 expert より 8 倍細かい分業で、各 expert が特定タスク（数学・コード・言語ごと等）に特化可能。論文 ablation study で「64 expert」 > 「16 expert」 > 「8 expert」を実証、細粒度化が MoE の重要トレンドとして示された。
Q3: なぜ Allen AI は完全オープンを推進？ A: Paul Allen の遺志「AI を全人類のために開かれた科学にする」を継承、OpenAI が商業化路線に転向した中で「真のオープン AI」を堅持する非営利機関として活動。Dolma・OLMo・OLMoE は全て Apache 2.0 で公開、研究コミュニティ・大学・スタートアップから絶大支持。
まとめ
- AI2 2024年9月発表・完全オープン MoE LLM
- 7B 総 / 1.3B アクティブ・64 expert 細粒度
- 学習データ Dolma + コード + チェックポイント全公開
- Apache 2.0 ライセンス・商用利用可
- 真のオープンソース LLM の代表・研究再現性最強