Molmo (Allen AI 2024)（モルモ2024）
Allen AI 2024年9月発表 OSS マルチモーダル LLM。72B/7B/1B 派生・GPT-4V 同等性能・Apache 2.0・完全オープン
概要
Molmo は 2024年9月25日に AI2（Allen Institute for AI、Seattle、2014年 Microsoft 共同創業者 Paul Allen 創設）が発表した OSS マルチモーダル LLM ファミリー（HuggingFace: allenai/Molmo-72B-0924 等、論文: arXiv:2409.17146「Molmo and PixMo: Open Weights and Open Data for State-of-the-Art Multimodal Models」）。Molmo-72B/7B/1B 派生・GPT-4V 同等性能（VQAv2 96.3%・MMMU 54.1%・AI2D 96.3%）・Apache 2.0・完全オープン（モデル weights + 学習データセット PixMo + コード + チェックポイント全公開）で「OSS Multimodal LLM の決定版」評価。
AI2 は OLMo・OLMoE・Tülu 等の「真のオープン LLM」を継続発表してきた研究機関で、Molmo はその Multimodal 版。最大の革新は 「PixMo データセット」：従来 OSS Multimodal LLM は GPT-4V で生成したシンセティックデータで学習していたが、Molmo は 人手アノテーション 712,000 画像 + 音声ラベリング で学習、これにより「Pointing UI」（画像内の特定オブジェクトを座標で指し示す機能、ロボティクス・UI 自動化に有用）等の独自機能を実現。
性能は VQA / MMMU / AI2D 等の標準ベンチマークで GPT-4V と肩を並べ、特定タスク（チャート読解 ChartQA・科学画像 AI2D）で凌駕。完全 OSS + Apache 2.0 で商用利用可、自社 GPU で推論可能。中小企業・大学・スタートアップに最適な「OSS Multimodal LLM」第一候補。
価格: OSS 無料、Hugging Face Inference API・Modal・Replicate 等で $0.5-2/M トークンでホスティング可。
主な特徴・仕組み
- 派生モデル: Molmo-72B-0924 (フル)・Molmo-7B-D-0924 (Demonstration)・Molmo-7B-O-0924 (OLMo ベース)・MolmoE-1B-0924 (MoE)
- ベース LLM: Qwen2-72B / OLMo-7B (派生で異なる)
- Vision Encoder: SigLIP-So400m (Google 製、22M パラメータ)
- 学習データ: PixMo データセット（712,000 画像、人手アノテーション）
- VQAv2: 96.3%
- MMMU: 54.1%
- AI2D: 96.3%（科学画像読解）
- ChartQA: 87.0%
- 特殊機能: Pointing UI（画像内オブジェクトを座標指し示し）
- ライセンス: Apache 2.0
- VRAM: 72B = 144GB FP16・36GB INT4、7B = 14GB FP16
- OS バージョン: Molmo-0924 (2024-09)・継続改良
スペック比較表
| 項目 | Molmo 72B (2024) | GPT-4o | Gemini 1.5 Pro | InternVL 2-76B | NVLM 1.0 |
|---|---|---|---|---|---|
| パラメータ | 72B | unknown | unknown | 76B | 72B |
| ライセンス | Apache 2.0 | proprietary | proprietary | MIT | MIT |
| 学習データ公開 | PixMo 全公開 | なし | なし | 一部公開 | なし |
| VQAv2 | 96.3% | unknown | unknown | 96.4% | unknown |
| MMMU | 54.1% | 69.1% | 62.2% | 67.3% | 59.7% |
| Pointing UI | あり | なし | なし | なし | なし |
| VRAM (INT4) | 36GB | API | API | 38GB | 36GB |
具体例・対応製品
- allenai/Molmo-72B-0924 (HuggingFace 2024-09): フル版、研究用
- allenai/Molmo-7B-D-0924: 軽量版、RTX 4090 で動作可
- allenai/MolmoE-1B-0924: 超軽量 MoE 版、Mac mini で動作可
- allenai/pixmo (HuggingFace): 712K 学習データセット公開
- vLLM Molmo: 高速推論サーバ統合
選び方・注意点
- 完全 OSS 最強: モデル + 学習データ + コード + チェックポイント全公開、研究再現性業界最高
- Pointing UI 独自機能: 「画像のここの猫の位置を教えて」→ (x, y) 座標返答、ロボティクス・UI 自動化に革命
- GPU 必須: 72B はFP16 144GB・INT4 36GB、A100 / H100 / RTX 4090 等
- MMMU 性能やや低: GPT-4o (69.1%) より 15 ポイント差、汎用視覚推論は商用優位
- PixMo データセット価値: 712K 画像 + 人手アノテーション、研究界に多大貢献
- ベース LLM 選択: 72B = Qwen2-72B ベース・7B-O = OLMo-7B ベース、ライセンス確認推奨
- Apple Silicon 動作: MolmoE-1B が Mac mini M2 16GB で動作、エッジ Multimodal 革命
関連用語との違い
| 用語 | 違い |
|---|---|
| Molmo (Allen AI 2024) | OSS 72B・Apache 2.0・PixMo データ公開 |
| GPT-4o (OpenAI 2024) | 商用・音声統合・$5/1M |
| Gemini 1.5 Pro (2024) | 1M-2M context・動画入力 |
| InternVL 2 (2024) | OSS 中国系 76B |
| NVLM (NVIDIA 2024) | OSS NVIDIA 戦略 72B |
よくある質問（FAQ）
Q1: なぜ AI2 は「完全オープン」を推進？ A: Paul Allen の遺志「AI を全人類のために開かれた科学にする」を継承、OpenAI が商業化路線に転向した中で「真のオープン AI」を堅持する非営利機関として活動。OLMo・OLMoE・Tülu・Molmo は全て Apache 2.0 で公開、研究コミュニティ・大学・スタートアップから絶大支持。
Q2: PixMo データセットの価値は？ A: 従来 OSS Multimodal LLM は GPT-4V で生成したシンセティックデータで学習（GPT-4V の偏りを継承）、PixMo は人手アノテーション 712K 画像で「クリーンな」学習データ。Multimodal 研究界の標準データセットとして広く活用、Molmo 後継研究の基盤。
Q3: Pointing UI の実用性は？ A: ロボティクス（「コップの位置を教えて」→ (x, y) 座標 → ロボットがピックアップ）・UI 自動化（「メニューの『設定』ボタンはどこ」→ クリック自動化）・教育（「この絵の中の猫はどこ？」→ 教育コンテンツ作成）等で革新的価値。GPT-4o / Gemini にない Molmo 独自機能。
まとめ
- AI2 2024年9月発表・OSS マルチモーダル LLM
- 72B/7B/1B 派生・PixMo データ完全公開
- VQAv2 96.3%・Apache 2.0・商用利用可
- Pointing UI 独自機能・ロボティクス革命
- 研究再現性・透明性で OSS Multimodal の代表