Grounding DINO（グラウンディングダイノ）

Grounding DINO とは

Grounding DINO（Detection Transformers with Improved Denoising Anchor Boxes）は、IDEA Research（深圳）が2023年に発表したオープン語彙物体検出フレームワーク。従来の固定クラス検出器と異なり、テキストプロンプトを入力として任意カテゴリの物体を検出できる点が革新的。

アーキテクチャ

デュアルエンコーダ構造

Grounding DINOは2つのエンコーダを融合させた設計を採用：

• 視覚エンコーダ: Swin Transformer（Swin-B/Swin-L）
• 言語エンコーダ: BERT系テキストエンコーダ（BERT-Base/BERT-Large）
• 特徴融合: クロスアテンション機構でテキスト特徴と視覚特徴を双方向に融合

DINO検出器ベース

DETR（Detection Transformer）系のDINOアーキテクチャを基盤に採用。デノイジングトレーニングとクエリ最適化により高精度検出を実現。デコーダにはFeature Enhancer、Language-Guided Query Selectionが追加。

性能指標

ゼロショット転移性能が従来モデルを大幅に超え、ODinW（オープンドメイン検出ベンチマーク）でもSOTA達成。

主要機能

1. オープン語彙検出

from groundingdino.util.inference import load_model, predict

model = load_model("config/GroundingDINO_SwinB.py", "groundingdino_swinb_cogcoor.pth")
boxes, logits, phrases = predict(
    model=model,
    image=image_tensor,
    caption="red apple . green bottle . wooden table",  # ドット区切りで複数カテゴリ指定
    box_threshold=0.35,
    text_threshold=0.25
)

2. 参照表現理解（REC）

単なる物体検出にとどまらず、「左端の人の帽子」「最も大きな赤い車の後部」のような自然言語表現でも特定領域を指示可能。これはReferring Expression Comprehension（REC）タスクに相当。

3. SAMとの組み合わせ

Grounding DINOで検出したバウンディングボックスをSAMのプロンプトとして使用し、高精度なインスタンスセグメンテーションに拡張（Grounded-SAMパイプライン）。

バージョン履歴

ライセンスと利用

• コア実装: Apache 2.0（商用利用可）
• Grounding DINO 1.5: API提供形式（IDEA Research IDEA-API経由）
• HuggingFace Hub: IDEA-Research/grounding-dino-base

活用事例

• ロボティクス: 指示に応じたマニピュレーション対象の特定
• 医療画像: 記述による異常領域の半自動アノテーション
• 工業検査: 新型部品の外観異常をゼロショット検出
• 自動運転: 道路上の未知障害物の検出
• コンテンツ調整: 自然言語規則に基づく画像コンテンツ検出

同系技術との比較