NVLM-D（エヌブイエルエムディー）
NVIDIAが2024年9月に公開したマルチモーダル言語モデル。72Bパラメータ・InternViT-6B+Llama-3.1-70B構成でGPT-4o Visionに匹敵する性能を示す。
概要
NVLM-D（NVIDIA Vision Language Model - Decoder-only）は、NVIDIAが2024年9月に発表したマルチモーダル言語モデルシリーズである。GPUメーカーとして名高いNVIDIAが初めて独自VLMとして公開した点で注目を集め、72BパラメータのNVLM-D-72BはMMBench 85.6・MathVista 65.2・DocVQA 95.3を達成し、GPT-4o Visionに匹敵する性能を示した。
「D（Decoder-only）」という名称は、視覚情報をLLMのデコーダへ直接入力するアーキテクチャを指す。同時に「X（Cross-Attention）」設計のNVLM-Xシリーズも提供しており、用途に応じた2つのアーキテクチャ選択肢を持つ。
アーキテクチャの詳細
NVLM-Dのデコーダ専用設計
- 視覚エンコーダ: InternViT-6B（Shanghai AI Lab開発の6Bパラメータ大型ViT）
- 解像度処理: 動的タイリングで448×448〜4096×4096に対応。最大6×6=36タイルまで分割
- MLP接続層: 2層MLPで視覚特徴をLlama埋め込み空間に投影
- LLMデコーダ: Llama-3.1-70B（Meta製）。コンテキスト長128K tokens
NVLM-Xのクロスアテンション設計
NVLM-XはFlamingo/IDEFICS系のクロスアテンション方式を採用：
- 各Transformerブロックに視覚クロスアテンション層を挿入
- テキストシーケンスに視覚トークンを直接挿入しない設計でテキスト専用タスクの性能低下が少ない
- 超長入力（画像が非常に多い場合）でのVRAM効率が高い
性能比較（2024年9月発表時点）
| ベンチマーク | NVLM-D-72B | GPT-4o | Gemini 1.5 Pro | InternVL2-76B | Molmo-72B |
|---|---|---|---|---|---|
| MMBench | 85.6 | 83.4 | 73.9 | 86.3 | 81.3 |
| MathVista | 65.2 | 63.8 | 58.3 | 65.5 | 58.4 |
| DocVQA | 95.3 | 92.8 | 90.1 | 94.3 | 89.2 |
| ChartQA | 86.0 | 85.7 | 81.3 | 88.4 | 86.1 |
| TextVQA | 85.2 | 77.4 | 78.7 | 84.4 | 73.8 |
MMBenchでInternVL2-76Bより0.7pt低いものの、MathVista・DocVQAでGPT-4oを上回り、テキスト認識（TextVQA）でも優位を示す。
NVIDIAが独自VLMを開発した理由
- DGX Cloud・H100/H200の実証デモ: 自社AIスーパーコンピュータでの大規模VLM学習を実証
- NeMo・TensorRT-LLMとの統合: NVLM重みをNVIDIAのMLOpsスタックで使用可能にし、Hopper GPUで最適化推論
- 研究コミュニティへの貢献: InternViT-6BなどのオープンモデルをベースにOSSコミュニティとの共創を促進
- Blackwell GPUの推論デモ: NVLM-72BをGB200（B200 GPU）上で推論する性能デモとして活用
推論環境（NVIDIA GPU向け最適化）
| GPU構成 | VRAM合計 | 動作モデル | 推論速度 |
|---|---|---|---|
| H100 SXM × 1 | 80GB | NVLM-D-72B (FP16) | 35 tok/s |
| A100 80GB × 2 | 160GB | NVLM-D-72B (FP16) | 22 tok/s |
| RTX 4090 × 2 | 48GB | NVLM-D-72B (Q4量子化) | 8 tok/s |
| H200 SXM × 1 | 141GB | NVLM-D-72B (FP16) | 55 tok/s |
TensorRT-LLMでのビルドコマンド例：trtllm-build --checkpoint_dir ./nvlm_d_72b_hf --output_dir ./nvlm_trt --gemm_plugin float16
ライセンスと利用制限
NVLM-D-72BはNVIDIA Open Model Licenseの下で公開されている：
- 学術研究・個人利用：無料
- 商用利用：利用者数100万人未満の製品・サービスであれば無料
- 100万人超の商用利用：NVIDIAとの個別ライセンス交渉が必要
- Apache 2.0の完全OSSではない点でMolmo・InternVL2と異なる
よくある質問（FAQ）
Q1: NVLM-DとInternVL2はどちらが優れていますか？ A: ベンチマーク上はInternVL2-76BがMMBench・ChartQAでわずかに上回りますが、NVLMはTextVQA・MathVistaでの強みと、NVIDIAのMLOpsスタック（TensorRT-LLM・NeMo）との直接統合が優位点です。
Q2: なぜNVIDIAはLlama-3.1-70BをLLMベースに選んだのですか？ A: Llama-3.1-70BはオープンソースLLMの中で2024年時点でのベスト性能を示しており、Apache 2.0ライセンスで商用利用可能なためです。NVIDIAはMeta AIとの戦略的パートナーシップを持ちH100クラスタでのLlamaモデル学習を支援しています。
Q3: NVLM-Xはどのような用途に向いていますか？ A: NVLM-Xはクロスアテンション設計のため、テキスト主体タスク（テキストのみ質問回答・コード生成）でのパフォーマンス低下が少ないとされています。画像を100枚以上扱うような超高密度マルチモーダルタスクではNVLM-Dより効率的です。
まとめ
- NVLM-DはNVIDIAが2024年9月に発表した72B規模の高性能VLM
- InternViT-6B（視覚）+ Llama-3.1-70B（言語）のデコーダ専用設計
- MMBench 85.6・MathVista 65.2・DocVQA 95.3でGPT-4oを複数ベンチマークで上回る
- H100 SXM（80GB VRAM）単体、またはA100 80GB×2で動作可能
- NVIDIA Open Model Licenseで公開（100万人未満商用は無料）