Shanghai AI Labが2023-2024年に発表した会話型動画理解モデル。MVBenchベンチマークを提唱し、高品質なInstructデータと時空間モデリングで動画Q&A精度を向上させた。

VideoChat2とは？（ビデオチャットツー）意味・特徴をわかりやすく解説

VideoChat2 とは

VideoChat2 は上海人工智能実験室（OpenGVLab）が開発した会話型動画理解 LLM。MVBench（Multi-View Benchmark）という新しい動画理解評価指標を提唱したことでも知られる。

MVBench: 動画理解総合評価ベンチマーク

MVBench は動画理解の多側面を評価する 20 タスク・4,000 問のベンチマーク:

時間的推論: Action Sequence / Action Prediction
空間的理解: Moving Direction / Object Interaction
シーン理解: Scene Transition / State Change
オブジェクト: Object Existence / Object Count
因果推論: Action Localization / Unexpected Change

Q-Former ベースの動画特徴抽出

BLIP-2 の Q-Former を動画に拡張:

動画フレーム列 → UNI-Perceiver ViT → 視覚特徴
                                         ↓
                                  Q-Former（クロスアテンション）
                                    ↑           ↓
                               学習可能クエリ  圧縮済み特徴
                                                  ↓
                                         Vicuna-7B/13B LLM

固定数のクエリトークンがクロスアテンションで動画特徴から情報を抽出し、可変長の動画フレーム列を固定長の言語表現に変換。

VideoChat-IT データセット

高品質ビデオキャプション: GPT-4V を用いた詳細記述 ~12K
Video-Instruct-100K: 多様な指示形式の Q&A ~100K
時間軸アノテーション: タイムスタンプ付き回答 ~8K

性能（MVBench）

VideoChat2（Mistral-7B）: 70.0%
VideoChat2（Vicuna-7B）: 66.3%
Video-LLaVA（7B）: 60.3%
Video-ChatGPT（7B）: 32.7%

MVBench では VideoChat2 が当時 SOTA を大幅更新。

利用方法

import torch
from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained(
    "OpenGVLab/VideoChat2-HD",
    trust_remote_code=True,
    torch_dtype=torch.bfloat16
).cuda()
tokenizer = AutoTokenizer.from_pretrained(
    "OpenGVLab/VideoChat2-HD",
    trust_remote_code=True
)

response = model.chat(
    tokenizer=tokenizer,
    video="sample_video.mp4",
    question="この動画に登場する人物は何をしていますか？",
    num_frames=16
)
print(response)

VideoChat → VideoChat2 の改善点

視覚エンコーダ: BLIP-2 ViT-G → UNI-Perceiver ViT
Instructデータ: ~11K → ~110K
時間的理解: 弱い → 強化（Slow-Fast特徴）
MVBench Acc: 56.4 → 70.0

VideoChat2（ビデオチャットツー）