Molmo（モルモ）
Allen Institute for AI（AI2）が2024年9月に公開したApache 2.0完全オープンソースのVLM。1B〜72Bの4サイズと「指差し機能」が独自の強み。
概要
Molmo（Multimodal Open Language Model）は、Allen Institute for AI（AI2・ワシントン大学系列の非営利AI研究機関）が2024年9月に発表したオープンソースのビジョン言語モデルシリーズである。研究用途・商用用途ともにApache 2.0ライセンスで完全無料で利用できる点が最大の特徴で、制限付きライセンスが多いVLM分野では希少な存在となっている。
「Open」を最優先する設計思想に基づき、学習データ・アーキテクチャ・重みパラメータをすべて公開している。2024年9月の発表時点でGPT-4o Vision・Gemini 1.5 Pro・Claude 3.5 Sonnetに次ぐ性能を示し、オープンソースVLMの中でトップ水準に位置づけられた。
モデルラインアップ
| バリアント | LLMベース | パラメータ | VRAM要件 | 特徴 |
|---|---|---|---|---|
| MolmoE-1B | OLMo-1B（MoE設計） | 1B有効（7B相当） | 4GB | 超軽量・エッジ向け |
| Molmo-7B-O | OLMo-7B | 7B | 16GB | 完全OSSデータのみで学習 |
| Molmo-7B-D | Qwen2-7B | 7B | 16GB | 最高7Bクラス性能（推奨） |
| Molmo-72B | Qwen2-72B | 72B | 160GB | 最高性能フラグシップ |
Molmo-7B-Dが7Bクラスの中で最も高性能とされており、RTX 4080（VRAM 16GB）での動作が推奨される。
技術的な特徴
CapDec・PixMo データセット
Molmoの高品質な視覚記述生成の源泉は「PixMo（CapDec）」という独自データセットにある：
- 人間のアノテーターが画像を見ながら「音声で詳細に説明」するキャプションデータを収集
- OpenAI Whisper large-v3で音声をテキスト化し、自然な口語スタイルの記述を大量取得
- 約100万件の高品質キャプションが含まれ、従来のキャプションデータより自然な言語で詳細
- 「指差し」機能のための座標付きキャプションデータも含む
視覚エンコーダ
- SigLIP-ViT-L/14（384×384）: Google開発のSigLIPエンコーダを採用
- 入力画像を144トークン（12×12グリッド）+1枚の要約トークンとしてLLMに渡す
- 他モデルに比べてシンプルなアーキテクチャを維持（動的タイリングなし）
「指差し（Pointing）」機能
Molmoのユニークな能力として「画像内の特定物体を座標で指定する」機能がある：
- ユーザー: 「猫はどこにいますか？」
- Molmo: 「猫は画像の右上（x=0.73, y=0.24）にいます」
これにより、マウス操作を伴うGUI自動化タスクや空間的な質問応答が得意。
ベンチマーク性能（2024年9月発表時点）
| ベンチマーク | Molmo-72B | GPT-4o | Gemini 1.5 Pro | Molmo-7B-D |
|---|---|---|---|---|
| MathVista | 58.4 | 63.8 | 58.3 | 51.6 |
| MMMU | 64.6 | 69.1 | 65.8 | 58.6 |
| ChartQA | 86.1 | 85.7 | 81.3 | 80.4 |
| DocVQA | 89.2 | 92.8 | 90.1 | 83.0 |
| RealWorldQA | 72.1 | 75.4 | 67.5 | 62.6 |
Molmo-72BはChartQAでGPT-4oを0.4ポイント上回るなど、チャート・グラフ理解に強みを示す。
ローカル実行（自作PC向け）
Hugging Face Transformersを使用した実行例：
processor = AutoProcessor.from_pretrained(allenai/Molmo-7B-D-0924, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained(allenai/Molmo-7B-D-0924, device_map=auto)
RTX 4080（VRAM 16GB）以上でMolmo-7B-D（FP16）が動作可能。
競合モデルとの比較（7Bクラス）
| 比較軸 | Molmo-7B-D | InternVL2-8B | Qwen2-VL-7B | LLaVA-1.6-7B |
|---|---|---|---|---|
| ライセンス | Apache 2.0 | Apache 2.0 | Qwen License | Apache 2.0 |
| 指差し機能 | あり（独自） | なし | なし | なし |
| 動画対応 | なし | あり | あり | なし |
| OCR精度 | 中程度 | 高（OCRBench 794） | 高（OCRBench 845） | 低 |
| コンテキスト | 4K tokens | 32K tokens | 32K tokens | 4K tokens |
よくある質問（FAQ）
Q1: MolmoE-1Bとは何が違うのですか？ A: MolmoE-1BはMoE（Mixture-of-Experts）設計で、実行時の有効パラメータは1Bですが全体構造は7B相当です。VRAM 4GBで動作可能で、Raspberry Pi 5やJetson Nanoなどのエッジデバイスでも実行できます。
Q2: Molmoはどのような画像フォーマットに対応していますか？ A: JPEG・PNG・WebP・BMP・GIF（静止画のみ）に対応しています。動画（MP4・MOV等）は2024年9月版では未対応で、フレームを個別に処理する必要があります。
Q3: AI2はなぜ完全オープンソースにこだわっているのですか？ A: AI2の設立理念として「AIの民主化」と「再現可能な研究」を重視しており、商業的制限を設けないポリシーを維持しています。OLMo（言語モデル）・Dolma（データセット）・Tulu（RLHF手法）等も同様にフル公開しています。
まとめ
- MolmoはAllen AI開発のApache 2.0完全OSSビジョン言語モデル（1B〜72Bの4サイズ）
- CapDec（音声説明キャプション）という独自高品質データで自然な視覚記述生成が得意
- 「指差し（Pointing）」機能でGUI自動化・空間QAに独自の強みを持つ
- Molmo-7B-DはRTX 4080（VRAM 16GB）でローカル実行可能
- 商用制限なしのためスタートアップ・企業ユースでも安全に利用可能