AI・機械学習
中級
OLMo-OCR（オルモオーシーアール）
Allen Institute for AIが開発したオープンソースドキュメントパーシングLLM。学術・Web文書のPDFを高精度にMarkdownへ変換し、LLM学習データ品質向上を目的として設計された。
0 回閲覧
0 いいね
2026/6/8 更新
関連タグ
ドキュメントAI
LLM学習データ
Allen AI
Qwen2-VL
PDF変換
OLMo-OCR とは
OLMo-OCR（2025年）は、Allen Institute for AI（AI2）がリリースしたオープンソースのドキュメントパーシングLLMです。オープンLLMシリーズ「OLMo」の学習データ品質を高めることを主目的として開発されました。
開発背景
LLM学習データの多くはWebクロールから得られますが、HTML形式ではなくPDF形式で提供されているコンテンツ（学術論文・政府文書・企業報告書など）は従来のパーサーでは十分に活用できませんでした。OLMo-OCRはこのギャップを埋め、PDFをクリーンなMarkdownとして大規模に変換するために設計されています。
アーキテクチャ
- ベースモデル: Qwen2-VL-7B（ビジョン言語モデル）
- 学習データ: CC-MAIN WebクロールPDF（数十億ページ規模）
- 出力形式: Markdown（見出し・リスト・表・数式・コードブロック）
- ライセンス: Apache-2.0
Nougatとの違い
| 比較軸 | OLMo-OCR | Nougat |
|---|---|---|
| 対象 | 汎用PDF | 学術論文専門 |
| 出力 | Markdown | LaTeX/Markdown |
| 数式精度 | 中 | 高 |
| 処理速度 | 高速（バッチ最適化） | 中速 |
| 多言語 | 対応（Qwen系） | 限定的 |
公式バッチパイプライン
pip install olmocr
# 単一PDFの変換
olmocr --model allenai/olmOCR-7B-0225-preview \
--input document.pdf \
--output output.md
# バッチ処理
olmocr --model allenai/olmOCR-7B-0225-preview \
--input-dir pdfs/ \
--output-dir markdown_outputs/
LLMデータパイプラインへの統合
OLMo-OCRはDolmaやOLMoデータセットの前処理コンポーネントとして統合されており、AI2のオープンLLMエコシステムの重要な部品です。RAGパイプラインの前処理やドキュメント管理システムへの組み込みも容易です。
CC-MAINベース学習の意義
Webクロールで収集されたPDFは多様な形式・言語・ドメインをカバーするため、OLMo-OCRは特定ドメインに偏らない汎用的なドキュメント理解能力を持ちます。企業文書・行政文書・ニュースレターなど実世界のビジネスPDFにも対応できます。
まとめ
OLMo-OCRはLLM学習データ品質向上という明確な目的で設計されたオープンなドキュメントパーシングモデルです。大規模PDFコーパスの処理に最適化されたバッチパイプラインと組み合わせることで、研究・商用を問わずドキュメントデジタル化の実用ツールとして活用できます。