StepFun/中国科学院が開発したエンドツーエンド汎用OCRモデル。テキスト・数式・表・コードを単一モデルで高精度に認識し、Markdown/LaTeX形式で出力する。

GOT-OCR 2.0とは？（ジーオーティーオーシーアール2）意味・特徴をわかりやすく解説

GOT-OCR 2.0 とは

GOT-OCR 2.0（General OCR Theory 2.0）は、2024年にStepFunと中国科学院が共同発表した汎用OCR基盤モデルです。580Mという軽量なパラメータ数で、テキスト・数式・表・コード・楽譜など多様なドキュメント要素を単一モデルで処理できる設計が特徴です。

アーキテクチャ

GOT-OCR 2.0は「OCR-2.0」パラダイムに基づいています。ビジョンエンコーダとしてCLIP系モデル、テキストデコーダとしてQwen-0.5Bを採用し、エンドツーエンドで学習されています。入力解像度は1024×1024ピクセルまで対応し、高密度なドキュメントでも細部を損なわずに処理できます。

出力形式の多様性

GOT-OCR 2.0が特に優れているのは出力形式の豊富さです。

プレーンテキスト: 通常の文字認識
Markdown: 見出し・リスト・表を含む構造保持
LaTeX: 数式・化学式の精密な符号化
MathML: 数式のXMLベース表現
TikZ: 図形・グラフの再現

この多様な出力形式により、論文PDFから数式をそのままLaTeXで抽出したり、表をMarkdownテーブルとして保存したりといった用途に直接対応できます。

ベンチマーク性能

OCR-2.0ベンチマークでは、数式認識においてNougat比で精度が大幅に向上し、複雑な数式構造での誤認識が激減しています。テキスト密度の高いページでの認識速度も改善されており、実用的なスループットを実現しています。

利用方法

from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained('stepfun-ai/GOT-OCR2_0', trust_remote_code=True)
model = AutoModel.from_pretrained('stepfun-ai/GOT-OCR2_0', trust_remote_code=True).cuda()

# プレーンテキスト抽出
res = model.chat(tokenizer, 'image.jpg', ocr_type='ocr')
# LaTeX数式抽出
res = model.chat(tokenizer, 'math_page.jpg', ocr_type='format')

Nougat・DocOwlとの比較

モデル	パラメータ	数式認識	多言語	出力形式数
GOT-OCR 2.0	580M	高	高	5種
Nougat	250M/350M	高	低	2種
DocOwl 2	8B	中	中	2種

まとめ

GOT-OCR 2.0は軽量・高精度・多出力形式という三拍子が揃ったOCR基盤モデルです。Apache-2.0ライセンスでの公開により商用利用も可能で、ドキュメントデジタル化パイプラインへの組み込みが容易です。

GOT-OCR 2.0（ジーオーティーオーシーアール2）