DocOwl 2（ドックアウル2）

DocOwl 2 とは

DocOwl 2（mPLUG-DocOwl 2）は、2024年にアリババ研究院が発表したドキュメント理解に特化したマルチモーダルLLMです。前作mPLUG-DocOwlの後継として、マルチページ対応・高解像度入力・文書構造理解の三点を大幅に強化しました。

主要な技術革新

High-resolution DocCompressor

DocOwl 2の核心技術が「High-resolution DocCompressor」です。高解像度のドキュメント画像を細かいパッチに分割し、テキスト・表・図のそれぞれに最適化された視覚特徴量として圧縮します。GPUメモリを大量消費せずに最大10ページを並列処理できます。

マルチページコンテキスト

複数ページにまたがる情報の照合が可能です。「第3ページの表と第7ページのグラフを比較して」という質問に対して、両ページの情報を統合した回答を生成できます。これは従来の単ページ処理モデルにはない能力です。

アーキテクチャ

• 言語モデル: Llama-3-8B / Qwen2-7B
• 視覚エンコーダ: OpenCLIP ViT-L/14
• DocCompressor: 768→256トークン圧縮
• 最大入力ページ: 10ページ
• 学習データ: DocStruct4M + 公開VQAデータセット

ベンチマーク性能

• DocVQA: 91.0（文書質問応答）
• ChartQA: 81.5（グラフ理解）
• InfoVQA: 78.3（インフォグラフィクス理解）
• MP-DocVQA: マルチページ部門でSOTA

実用ユースケース

財務ドキュメント処理: 財務報告書の特定ページから数値を抽出し、複数期間の業績を比較します。

法的文書解析: 契約書の条項を横断検索し、特定の義務・権利・期日を抽出します。

技術マニュアル対話: 製品マニュアルに対して自然言語で質問でき、該当ページの手順を回答します。

利用方法

from mplug_docowl.modeling_mplug_owl2 import MPLUGOwl2LlamaForCausalLM
from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained('mPLUG/DocOwl2')
model = MPLUGOwl2LlamaForCausalLM.from_pretrained('mPLUG/DocOwl2').eval().cuda()

まとめ

DocOwl 2はマルチページ対応と高解像度処理を両立したドキュメント理解LLMです。企業のドキュメント処理自動化において、単純なOCRを超えた「文書を読んで理解する」AIとして実用化が進んでいます。