Molmo（マルチモーダル言語モデル）とは？（モルモマルチモーダルゲンゴモデル）意味・特徴をわかりやすく解説

Q: Molmo（マルチモーダル言語モデル）とは？

Allen Institute for AI（AI2）が2024年9月に発表したオープンソースマルチモーダルLLM。完全公開の学習データ・コード・モデルウェイトで構成され、独自の高品質キャプションデータセット「PixMo」と「Pointing」機能（画像内の特定座標指示）が特徴。

Molmo（マルチモーダル言語モデル）とは

MolmoはAllen Institute for AI（AI2、ポール・アレン設立の非営利研究機関）が2024年9月に発表したオープンソースマルチモーダルLLM。名称は「Multimodal Open Language Model」の略であり、その名の通り学習データ・コード・モデルウェイトをすべて公開するという徹底したオープンサイエンス方針を取る。

Molmoのオープンサイエンス方針

多くのオープンソースマルチモーダルLLMはモデルウェイトのみを公開するが、Molmoは：

PixMoデータセット: 学習に使った高品質キャプションデータを全公開
学習コード: 再現性のある学習スクリプトを公開
中間チェックポイント: 学習の各段階のモデルを公開
ビジョンエンコーダ: 独自開発のオープンモデルを使用（OpenAI CLIPの代わり）

この方針は研究の完全な再現性と透明性を確保し、学術研究コミュニティからの高い評価を得ている。

モデルラインナップ

モデル	ベースLLM	VRAM要件	公開レベル
MolmoE-1B（効率MoE版）	OLMoE-1B-7B	~4GB	完全公開
Molmo-7B-O（オープン版）	OLMo-7B	~16GB	完全公開
Molmo-7B-D（蒸留版）	Qwen2-7B	~16GB	重み公開
Molmo-72B	Qwen2-72B	~150GB	重み公開

「O」サフィックスが完全オープン（学習データ含む）、「D」サフィックスは重みのみ公開版。

PixMoデータセット

PixMoはMolmoの学習に使われた独自マルチモーダルキャプションデータセット：

規模: 100万枚以上の画像
収集方法: クラウドワーカーが音声でキャプションを生成（高品質化のための工夫）
特徴: 口語的・詳細・多様な観点を持つキャプション
公開: HuggingFaceからダウンロード可能

従来のキャプションデータは「テキスト入力→アノテータが文章を書く」方式だったのに対し、PixMoは「画像を見て声で説明する」方式を採用し、より自然で詳細な記述を収集した。

Pointing機能

Molmoの独自機能「Pointing」は、画像内の特定物体・領域を座標（x, y パーセント）で指示できる機能：

入力例: 「この写真の自転車はどこにありますか？」出力例: 「自転車は画像の右下にあります」（座標タグ付き）

応用例：

工場画像の欠陥箇所の座標特定
医療画像の異常領域マーキング
UIスクリーンショットの特定要素の位置特定
ロボットの把持ターゲット指定

発表時の性能評価

2024年9月の発表時、AI2はHuman Evaluationで以下を主張：

Molmo-72B → GPT-4o比較で特定マルチモーダルタスクで優位
Molmo-7B-D → GPT-4V（2024年版）相当の性能
MolmoE-1B → Gemini Flash比較でリソース効率が高い

ただし、標準的なアカデミックベンチマークではInternVL 2.5やLlama 3.2 Visionに対してやや劣る評価もある。強みはPointing機能・PixMoデータセットのユニークさ・完全公開性。

ローカル実行

# HuggingFaceからの実行
pip install transformers torch

python3 -c "
from transformers import AutoModelForCausalLM, AutoProcessor
model = AutoModelForCausalLM.from_pretrained(
    'allenai/Molmo-7B-D-0924',
    trust_remote_code=True
)
processor = AutoProcessor.from_pretrained(
    'allenai/Molmo-7B-D-0924',
    trust_remote_code=True
)
print('Model loaded successfully')
"

AI2の研究背景

Allen Institute for AIはMicrosoftの共同創業者ポール・アレンが設立した非営利AI研究機関。OLMo（Open Language Model）、OLMoE（Mixture-of-Experts版）などのテキストLLMも完全公開で提供しており、MolmoはそのビジョンAI版として位置づけられる。

よくある質問（FAQ）

Q1: MolmoとLlama 3.2 Visionの違いは？ A: Molmoは学習データ・コードを含む完全公開（オープンサイエンス）が最大の差別化。Llama 3.2はMeta製でより広いエコシステムとクラウドAPI対応。研究用途ならMolmoの透明性が価値を持つ。

Q2: Pointing機能はどのフレームワークで使える？ A: HuggingFaceのTransformersライブラリ経由で利用可能。Pointing専用の出力フォーマットを解析するパーサーが必要。AI2の公式サンプルコードが提供されている。

Q3: 商用利用は可能か？ A: Molmo-7B-OとMolmoE-1BはApache 2.0で完全に自由。Molmo-72B・Molmo-7B-DはQwen2ベースのため、QwenのModelscope Community Licenseが適用される（商用利用可、条件確認要）。

まとめ

Molmo = 完全オープンサイエンス（学習データ・コード・重みを全公開）を実践する2024年発の学術志向マルチモーダルLLM
Pointing機能（画像座標指示）とPixMoデータセットがユニークな技術的差別化
研究コミュニティと完全再現性を重視するユースケースに最適

Molmo（マルチモーダル言語モデル）（モルモマルチモーダルゲンゴモデル）