ビジュアルグラウンディング（ビジュアルグラウンディング）

ビジュアルグラウンディングとは

ビジュアルグラウンディング（Visual Grounding）は、自然言語で記述された対象を画像内で正確に位置特定するタスクである。物体検出が「画像内のすべての犬を検出せよ」という汎用的なタスクであるのに対し、ビジュアルグラウンディングは「テーブルの左側に座っている白い犬」のように、言語的な修飾や空間的な文脈を考慮した特定の対象のローカライゼーションを行う。

このタスクは、ロボットへの自然言語指示（「あの青いカップを取って」）、画像編集（「背景の山を削除して」）、視覚的質問応答の根拠付けなど、言語と視覚の接点で不可欠な技術である。

タスクの分類

ビジュアルグラウンディングにはいくつかのサブタスクが存在する。

RECが最も基本的なタスクで、「左端の赤い車」といった参照表現に対して1つのバウンディングボックスを返す。RESはボックスではなくピクセル単位のマスクを出力するため、より精密な位置特定が可能。Phrase Groundingは「犬がフリスビーをキャッチした」というキャプション中の「犬」と「フリスビー」をそれぞれ画像内でローカライズする。

代表的な手法の進化

ビジュアルグラウンディングの手法は大きく3つの世代に分類できる。

第1世代：二段階手法 まず物体検出器で候補領域（プロポーザル）を生成し、各候補とテキスト表現のマッチングスコアを計算して最適な領域を選択する。MAttNet（2018年）は主語・位置・関係の3つのモジュールに分解してマッチングを行う手法で、この世代の代表格である。精度は高いが、物体検出器への依存により計算コストが高く、検出器が見逃した対象は原理的に発見できない。

第2世代：一段階手法 プロポーザル生成と言語マッチングを同時に行うend-to-endモデル。TransVG（2021年）はTransformerベースで画像パッチとテキストトークンの交差注意を直接計算する。プロポーザルの制約から解放され、より柔軟な位置特定が可能になった。

第3世代：LLMベース手法 大規模言語モデルに座標出力能力を付与したアプローチ。Kosmos-2（Microsoft）はテキスト中に座標トークン``を埋め込むことで、言語生成と位置特定を統一的に扱う。Shikra、Ferret、CogVLMなども同様のアプローチを採用している。

LLMベースのグラウンディング

最新のVLMでは、グラウンディング能力がモデルに組み込まれている。

座標トークン方式 画像を仮想的なグリッドに分割し、座標を特殊トークンとして語彙に追加する。モデルは「<box>234, 156, 478, 392</box>」のような座標トークン列を生成することで、テキスト生成と同じデコーディングプロセスでバウンディングボックスを出力する。

Kosmos-2 Microsoftが開発したマルチモーダルLLMで、テキスト中にグラウンディング座標を自然に埋め込む。「<phrase>赤い車</phrase><object><patch_index_0234><patch_index_0156>...</object>」のように、言語表現と座標が一体化した出力が特徴。

Grounding DINO + SAM テキスト指定で物体を検出するGrounding DINOと、任意のプロンプトからセグメンテーションマスクを生成するSAM（Segment Anything Model）を組み合わせたパイプラインは、オープンボキャブラリのビジュアルグラウンディングとして広く活用されている。

主要ベンチマーク

RefCOCOシリーズが最も標準的なベンチマークであり、モデル間の比較に使用される。最新のLLMベースモデルはRefCOCOで90%以上の精度を達成しており、人間の精度に迫っている。

応用事例

ビジュアルグラウンディングの実用化が進む分野を紹介する。

ロボット操作 「テーブルの上の青いカップを掴んで」という自然言語指示を、ロボットが実行可能な座標に変換する。CLIPort、SayCan、RT-2などのロボティクス研究でビジュアルグラウンディングが核心技術として活用されている。

画像編集・生成 「左の人物を削除して」「背景の空をもっと青くして」といった自然言語指示に基づく画像編集。InstructPix2Pixやmagic-brushなどの手法がグラウンディングを活用している。

医療画像の説明 放射線科医が「右肺の上葉に見える陰影」と記述した箇所をCT画像上で自動的にハイライトする。レポートと画像の対応付けにビジュアルグラウンディングが活用される。

自動運転 「前方の横断中の歩行者」「右車線に停車している赤い車」といった自然言語での状況記述を、センサーデータ上の具体的な物体に対応付ける。解釈可能性の向上に寄与する。

ECサイト ユーザーが「このモデルが着ているジャケット」のようにテキストで指定した商品を画像内で特定し、商品ページにリンクする。ショッパブルコンテンツの自動化に活用されている。

よくある質問

Q1: ビジュアルグラウンディングと物体検出の違いは？

物体検出は事前定義されたカテゴリ（「人」「車」等）に基づいて画像内のすべての該当物体を検出する。ビジュアルグラウンディングは自由形式の自然言語記述に基づいて特定の1つの対象を位置特定する。「左側の赤い帽子をかぶった背の高い人」のような複雑な指定が可能な点が物体検出と根本的に異なる。

Q2: Grounding DINOは商用利用できるか？

Grounding DINOはApache 2.0ライセンスで公開されており、商用利用が可能である。SAMもApache 2.0で公開されている。両者を組み合わせたオープンボキャブラリのグラウンディング＋セグメンテーションパイプラインは自由に商用利用できる。

Q3: 日本語の参照表現でも精度は出るか？

英語で訓練されたモデルに日本語を直接入力すると精度は低下する。多言語対応のVLM（Qwen-VL、InternVL等）を使用するか、日本語の参照表現データで追加学習を行うことで改善できる。RefCOCOの日本語翻訳版などのデータセットも研究コミュニティで作成されている。