Nougat（ヌガー）

Nougat とは

Nougat（Neural Optical Understanding for Academic Documents）は、2023年にMetaが発表した学術論文PDF特化型のOCRモデルです。名称はフランス語の菓子「ヌガー」に由来し、NLP分野の命名センスを踏襲しています。

開発背景

大規模言語モデルが学術的な正確さを持てない理由の一つが、学術論文のPDFテキスト抽出の限界にありました。従来のPDFパーサーは数式・表・参考文献を正確にテキスト化できず、LLMの学習データとして利用できる論文の割合が著しく制限されていました。Nougatは画像からLaTeXへのエンドツーエンドのアプローチでこの問題を解決します。

アーキテクチャ

NougatはSwin TransformerエンコーダとmBARTデコーダから構成されます。論文PDFの各ページを画像として入力し、LaTeX/Markdownを直接出力します。モデルサイズは2種類です。

• Nougat-small: 250Mパラメータ、高速処理向け
• Nougat-base: 350Mパラメータ、高精度処理向け

得意な入力タイプ

1. 複雑な数式: 多段分数・総和記号・行列など
2. 化学式記述: テキストとしての化学構造記述
3. 学術表: キャプション付きの複数行列表
4. 参考文献リスト: 構造化された書誌情報
5. 2カラムレイアウト: 段組みを正しい読む順序で処理

利用方法

pip install nougat-ocr
# PDFをMarkdownに変換
nougat paper.pdf -o output_dir/

from nougat import NougatModel
model = NougatModel.from_pretrained('facebook/nougat-base')
predictions = model.inference(pdf_path='paper.pdf')

限界と課題

• 処理速度: GPU必須、1ページあたり数秒かかる場合がある
• 英語論文特化: 日本語・中国語論文での精度は低い
• 手書き非対応: 印刷フォントのみ対応
• GOT-OCR 2.0との比較: 多言語・非学術ドキュメントではGOT-OCRが優位

LLMパイプラインへの統合

NougatはRAGパイプラインにおいて、学術文献の前処理コンポーネントとして広く活用されています。arXiv論文をNougatでLaTeX/Markdownに変換→チャンク分割→埋め込み→ベクトルDBというフローが定番です。

まとめ

Nougatは学術論文PDF→LaTeX変換に特化した高精度モデルです。科学文献を素材とするRAGシステムや論文デジタル化プロジェクトにおいて、現在も実用的な選択肢として広く使われています。