LLMマルチモーダル抽出（エルエルエムマルチモーダルチュウシュツ）
GPT-4o・Gemini 2.0・Claude 3.5 SonnetなどのマルチモーダルLLMを活用し、画像・音声・動画・PDFなどテキスト以外のメディアから構造化データを直接抽出する技術。従来のOCR→テキスト抽出の2段階パイプラインを1ステップに統合し、視覚的文脈を保持した高精度な情報抽出を実現する。
LLMマルチモーダル抽出とは
LLMマルチモーダル抽出とは、GPT-4o・Gemini 2.0 Flash・Claude 3.5 Sonnetなどの視覚理解能力を持つ大規模言語モデルを使い、画像・PDF・図表・グラフ・手書きメモ・音声・動画などのマルチメディアデータから構造化情報を直接抽出する技術である。従来は「OCRでテキスト化→NLPで構造化」の2段階パイプラインが必要だったが、マルチモーダルLLMは画像を直接理解してJSONやテーブルを出力できるため、パイプラインの大幅な簡素化と精度向上を同時に達成する。
マルチモーダルLLM 視覚理解能力比較
| モデル | 画像入力 | PDF入力 | 動画入力 | 音声入力 | 最大画像数 | 解像度上限 |
|---|---|---|---|---|---|---|
| GPT-4o | ○ | △（画像変換） | △（フレーム抽出） | ○（Whisper統合） | 多数 | 2048x2048 |
| GPT-4o mini | ○ | △ | △ | ○ | 多数 | 2048x2048 |
| Gemini 2.0 Flash | ○ | ○（ネイティブ） | ○（1時間まで） | ○（ネイティブ） | 3,600 | 制限なし |
| Gemini 1.5 Pro | ○ | ○ | ○（1時間まで） | ○ | 3,600 | 制限なし |
| Claude 3.5 Sonnet | ○ | ○（ネイティブ） | × | × | 20 | 8000x8000 |
| Claude 3 Opus | ○ | ○ | × | × | 20 | 8000x8000 |
| Qwen2.5-VL-72B | ○ | △ | ○ | × | 多数 | 動的解像度 |
| InternVL 2.5 | ○ | △ | × | × | 多数 | 4096x4096 |
画像からの情報抽出
マルチモーダルLLMが得意とする画像抽出タスク：
- 名刺: 氏名・会社名・役職・電話番号・メールアドレス・住所をJSON化。日本語名刺もGPT-4o/Claude 3.5で95%以上の精度
- レシート/領収書: 店舗名・日時・品目・金額・合計・支払方法の構造化。感熱紙の劣化したレシートでも読み取り可能
- ホワイトボード: 会議メモ・図表・フローチャートの内容をテキスト + 構造化データに変換
- グラフ/チャート: 棒グラフ・折れ線グラフ・円グラフからデータポイントを数値テーブルとして抽出
- 技術図面: 回路図・建築図面・UML図からコンポーネントと関係性を抽出
- 商品パッケージ: 栄養成分表示・原材料・アレルゲン情報の構造化
- 地図/フロアプラン: 部屋名・面積・動線の抽出
- スクリーンショット: UI要素・テキスト・レイアウト構造の認識
PDF ネイティブ処理
2025年以降、主要モデルがPDFの直接入力に対応：
- Claude 3.5 Sonnet: 2024年10月よりPDFネイティブ入力対応。100ページ以上のPDFを一括解析可能。ページごとの画像レンダリングとテキスト抽出を内部で自動実行
- Gemini 1.5/2.0: PDFをネイティブに処理。最大200万トークン（約1,500ページ相当）のコンテキストで全ページを一括解析
- GPT-4o: PDF直接入力は非対応。pdf2imageで各ページをPNG変換し、画像として送信する方式が主流
- LlamaParse + LLM: LlamaParseでPDFをMarkdownに変換後、LLMで構造化抽出する2段階方式
コスト比較（100ページのPDF処理）：
| 方式 | 推定コスト | 処理時間 | 精度 |
|---|---|---|---|
| Claude 3.5 PDF直接 | $0.50-$1.00 | 30-60秒 | 高 |
| Gemini 1.5 Pro PDF直接 | $0.30-$0.80 | 20-40秒 | 高 |
| GPT-4o + 画像変換 | $2.00-$5.00 | 60-120秒 | 高 |
| Azure Document Intelligence + GPT-4o | $0.15 + $0.50 | 30-60秒 | 最高 |
| LlamaParse + Claude | $0.30 + $0.30 | 40-80秒 | 高 |
音声からの情報抽出
音声データからの構造化抽出は以下のアプローチが主流：
- Gemini 2.0 Flash: 音声ファイルを直接入力し、会議議事録・発言者識別・アクションアイテム抽出を一括実行。最大1時間の音声に対応
- OpenAI Whisper + GPT-4o: Whisperで文字起こし→GPT-4oで構造化抽出の2段階方式。Whisper APIは$0.006/分
- AssemblyAI + LLM: Speaker Diarization（話者分離）付き文字起こし→LLMで要約・抽出
- Amazon Transcribe + Bedrock: AWS統合パイプライン。医療・法務向けカスタム語彙対応
動画からの情報抽出
動画コンテンツからの構造化データ抽出：
- Gemini 2.0: 動画ファイルを直接入力（最大1時間）。シーン説明・テキスト抽出・物体認識・タイムスタンプ付きイベント検出
- フレームサンプリング + GPT-4o: 動画から1-5秒間隔でフレームを抽出し、各フレームをGPT-4o Visionで解析
- Twelve Labs: 動画理解専用API。意味検索・要約・分類・ハイライト抽出
- Google Video Intelligence API: 物体追跡・シーン検出・テキスト検出・不適切コンテンツ検出
実装上の注意点
- 画像解像度: 高解像度画像はトークンコストが増大。OpenAIの
detail: "low"オプションで85トークン固定にできるが、細かい文字の認識精度は低下 - バッチ処理: 複数画像の一括送信時は各画像にラベルを付与し、出力JSONで画像IDとの対応を明示させる
- コスト管理: 画像トークン計算はモデルにより異なる。GPT-4oは170x170タイルあたり85トークン。Claudeは画像サイズに基づく固定トークン
- ハルシネーション対策: 画像内に存在しない情報を生成するリスクがある。信頼度スコアの付与と根拠テキスト/領域の出力を指示する
- プライバシー: 顔画像・個人情報を含む画像の処理にはデータ処理契約（DPA）の確認が必要
よくある質問（FAQ）
Q1: マルチモーダルLLMで最もコスパが良いのはどのモデルですか？ A: 画像抽出タスクではGemini 2.0 Flashが最もコスパに優れる。入力$0.10/1Mトークン・出力$0.40/1Mトークンで、精度もGPT-4oの90%程度を達成。大量処理ではGemini、高精度が必要な場面ではGPT-4oまたはClaude 3.5を使い分けるカスケード方式が推奨。
Q2: 手書き文字の認識精度はどの程度ですか？ A: 英語の手書きでGPT-4oが95%以上、日本語の手書きで85-90%程度。達筆や崩し字は精度が低下するため、Azure Document Intelligenceの手書き認識モデルとの併用が有効。
Q3: 動画の処理はリアルタイムで可能ですか？ A: Gemini 2.0 Flashのライブストリーミング機能（Multimodal Live API）を使えば、リアルタイムの映像入力から情報抽出が可能。レイテンシは200-500ms程度で、監視カメラ映像の異常検知やライブコマースの商品情報抽出に応用できる。
まとめ
- マルチモーダル抽出はOCRパイプラインを不要にする新世代の文書処理技術
- GPT-4o・Gemini 2.0・Claude 3.5が画像/PDF/音声/動画の直接入力に対応
- PDF処理はClaude/Geminiのネイティブ入力が最もシンプルかつ高精度
- 音声抽出はGemini 2.0の直接入力またはWhisper + LLMの2段階方式
- コスト最適化にはGemini 2.0 Flashとハイエンドモデルのカスケード方式が有効