NVLM 1.0 (NVIDIA 2024)（エヌブイエルエム1.0・2024）
NVIDIA 2024年9月発表 OSS マルチモーダル LLM。72B・MIT ライセンス・OCR Bench 853・TensorRT-LLM 最適化
概要
NVLM 1.0 は 2024年9月17日に NVIDIA Research（カリフォルニア州 Santa Clara）の Wenliang Dai・Nayeon Lee・Boxin Wang・Zhuolin Yang・Zihan Liu ら 19 名が発表した OSS マルチモーダル LLM（HuggingFace: nvidia/NVLM-D-72B、論文 arXiv:2409.11402「NVLM: Open Frontier-Class Multimodal LLMs」）。72B パラメータ・MIT ライセンス・OCR Bench 853（業界最高級）・TensorRT-LLM 推論最適化対応で「NVIDIA エコシステム最強 OSS Multimodal」評価。
NVIDIA は GPU メーカーとして AI 全市場の中核、近年 LLM 系自社モデル（Nemotron-4 340B 2024-06・NVLM 1.0 2024-09・Nemotron-mini 2024-09）を立て続けに発表、「NVIDIA GPU 上で最高性能を発揮する LLM」戦略を推進。NVLM は GPT-4V (2023-09)・InternVL 2 (2024-07)・Molmo (2024-09) と続く 2024 年 OSS Multimodal LLM 戦国時代に NVIDIA が投入した刺客。
革新は (1) 3 アーキテクチャ比較：Decoder-only (NVLM-D)・Cross-attention (NVLM-X)・Hybrid (NVLM-H) の 3 種を同論文で比較、設計トレードオフを学術的に解明 (2) OCR Bench 853：業界最高級の OCR 性能、ドキュメント / 表 / 数式の文字認識で GPT-4V 上回り (3) TensorRT-LLM 推論最適化: NVIDIA 自社 推論サーバで動作最適化済、エンタープライズ運用容易 (4) MIT ライセンス：商用利用完全自由 (5) マルチモーダル fine-tune 後もテキスト性能維持：従来 Multimodal 化で「テキスト LLM 性能が劣化」問題を解決。
ライセンス MIT、HuggingFace で無料公開、商用利用可。NVIDIA NIM プラットフォーム経由で API 利用可、$0.5-2/1M トークン。
主な特徴・仕組み
- 派生モデル: NVLM-D-72B (Decoder-only、公開)・NVLM-X-72B (Cross-attention)・NVLM-H-72B (Hybrid)
- ベース LLM: Qwen2-72B-Instruct
- Vision Encoder: InternViT-6B（Shanghai AI Lab 製、InternVL 2 と同一）
- MMMU: 59.7%（GPT-4V 56.8% 凌駕）
- OCR Bench: 853（業界最高級、Molmo 815・InternVL 2 794 を上回り）
- VQAv2: 86.4%
- ChartQA: 86.0%
- DocVQA: 92.6%
- テキスト LLM 性能維持: マルチモーダル化後も Qwen2-72B-Instruct のテキスト性能保持
- TensorRT-LLM 対応: NVIDIA 推論サーバで最適化済
- ライセンス: MIT
- VRAM: FP16 144GB・INT4 36GB
- OS バージョン: NVLM 1.0 (2024-09)・継続改良
スペック比較表
| 項目 | NVLM 1.0 72B (2024) | GPT-4o | Gemini 1.5 Pro | Molmo 72B | InternVL 2-76B |
|---|---|---|---|---|---|
| パラメータ | 72B | unknown | unknown | 72B | 76B |
| MMMU | 59.7% | 69.1% | 62.2% | 54.1% | 67.3% |
| OCR Bench | 853 | unknown | unknown | 815 | 794 |
| ライセンス | MIT | proprietary | proprietary | Apache 2.0 | MIT |
| TensorRT-LLM | 公式対応 | なし | なし | 一部 | 一部 |
| 動画入力 | なし | なし | あり | なし | あり |
| NVIDIA エコシステム | 公式統合 | なし | なし | なし | なし |
具体例・対応製品
- nvidia/NVLM-D-72B (HuggingFace 2024-09): Decoder-only 公開版
- NVIDIA NIM NVLM API: $0.5-2/1M、エンタープライズ向け
- NVIDIA TensorRT-LLM NVLM 統合: 推論最適化、HGX H100 で 高速動作
- NVIDIA Triton Inference Server NVLM: 本番運用基盤
- NVIDIA NGC Catalog NVLM: コンテナイメージ提供
選び方・注意点
- NVIDIA GPU 環境最適: TensorRT-LLM + NVLM で推論速度業界最高級、HGX H100 で Llama 3 同等速度
- OCR 用途最強: OCR Bench 853 で Molmo・InternVL 2 凌駕、ドキュメント解析・表認識・数式認識で OSS No.1
- エンタープライズ向け: NVIDIA NIM・Triton・NGC 統合で本番運用容易、Microsoft Azure ML / AWS SageMaker 統合
- MMMU 性能やや低: 59.7% で InternVL 2 (67.3%) 下回り、汎用視覚 推論では InternVL 2 優位
- テキスト性能維持: マルチモーダル化で従来 Qwen2-72B のテキスト能力保持、汎用利用可
- InternViT-6B 共有: Shanghai AI Lab 製 Vision Encoder 採用、InternVL 2 と同一基盤
- 3 アーキテクチャ比較: 論文で Decoder-only / Cross-attention / Hybrid 比較、研究的価値高
関連用語との違い
| 用語 | 違い |
|---|---|
| NVLM 1.0 (NVIDIA 2024) | OSS 72B・MIT・OCR Bench 853・TensorRT 公式 |
| GPT-4o (OpenAI 2024) | 商用・音声統合 |
| Gemini 1.5 Pro (2024) | 1M-2M context・動画 |
| Molmo (Allen AI 2024) | OSS 72B・Apache 2.0 |
| InternVL 2 (Shanghai AI Lab 2024) | OSS 1B-108B・MMMU 67.3% |
よくある質問（FAQ）
Q1: なぜ NVIDIA は OSS LLM を作る？ A: (1) NVIDIA GPU 上で最適動作する LLM を自社開発で「NVIDIA エコシステム ロックイン」(2) Microsoft / Google / Meta 等の顧客に「NVIDIA NIM + NVLM」プラットフォーム提供 (3) AI 研究界で NVIDIA の存在感維持 (4) Nemotron / NVLM シリーズで「ハード + ソフト 統合プロバイダー」戦略推進。Apple Silicon 対抗 戦略の一環。
Q2: OCR Bench 853 の実用性は？ A: 業界最高級 OCR 性能で、(1) 古典文書（江戸時代 / 古文書）読み取り (2) 数式 / 化学式認識 (3) 表 / グラフ データ抽出 (4) 多言語混在文書（英 / 中 / 日 / 韓） (5) 手書きノート OCR で実用品質。GPT-4V や Google Cloud Vision API 凌駕、ドキュメント業務自動化で価値大。
Q3: 3 アーキテクチャ (D/X/H) の違いは？ A: NVLM-D = Decoder-only（LLaVA 系、シンプル・実装容易）、NVLM-X = Cross-attention（Flamingo 系、高効率）、NVLM-H = Hybrid（両者の長所組合せ、最高性能）。公開は D のみ、X / H は論文ベンチで H が最高性能を示すが、製造コスト・推論速度のトレードオフで D を実用版として公開。学術的に重要な比較研究。
まとめ
- NVIDIA Research 2024年9月発表・OSS Multimodal LLM
- 72B・MIT ライセンス・OCR Bench 853 業界最高
- TensorRT-LLM 推論最適化・NVIDIA エコシステム統合
- 3 アーキテクチャ比較研究で学術貢献
- NVIDIA「ハード + ソフト 統合プロバイダー」戦略の象徴