LLaVA-Video（ラバビデオ）

LLaVA-Video とは

LLaVA-Video は ByteDance Research が 2024 年 10 月に発表した動画理解特化型マルチモーダル LLM。LLaVA-Next の設計思想を動画ドメインに徹底的に拡張し、Video-MME ベンチマークで GPT-4V に匹敵する精度を達成した。

LLaVA-Video-178K データセット

高品質データの構築が性能の鍵：

• 密度の高い動画記述: 33K（AI + 人手検証）
• オープンエンド Q&A: 34K（GPT-4V 生成）
• マルチチョイス Q&A: 12K（GPT-4V 生成）
• 既存データ再フォーマット: ~100K（自動変換）

合計 178K の高品質動画 QA ペア。

フレームサンプリング戦略

動画長に応じた動的フレームサンプリング:

• 短動画 (<1分): 2fps で最大 64フレーム
• 中動画 (1-5分): 1fps で最大 128フレーム
• 長動画 (>5分): 0.5fps で最大 256フレーム

Slow-Fast フレーム処理

• Slow pathway: 少数フレームを高解像度で処理（空間意味理解）
• Fast pathway: 多数フレームを低解像度で処理（時間動態理解）
• 両パスウェイの特徴を結合して LLM に入力

ベンチマーク性能

• Video-MME (w/sub): LLaVA-Video-72B 73.1 vs Gemini-1.5-Pro 75.0
• Video-MME (w/o sub): LLaVA-Video-72B 65.3 vs Gemini-1.5-Pro 65.3（同等）
• MVBench: 73.1 / EgoSchema: 78.8

HuggingFace 利用

from transformers import LlavaVideoForConditionalGeneration, AutoProcessor
import torch

model = LlavaVideoForConditionalGeneration.from_pretrained(
    "llava-hf/LLaVA-Video-7B-Qwen2-hf",
    torch_dtype=torch.bfloat16,
    attn_implementation="flash_attention_2",
    device_map="auto"
)
processor = AutoProcessor.from_pretrained("llava-hf/LLaVA-Video-7B-Qwen2-hf")

conversation = [{
    "role": "user",
    "content": [
        {"type": "video", "path": "cooking_video.mp4"},
        {"type": "text", "text": "この料理動画のレシピ手順を日本語で説明してください"}
    ]
}]

prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)
inputs = processor(text=prompt, videos=["cooking_video.mp4"], return_tensors="pt")
output = model.generate(**inputs.to("cuda"), max_new_tokens=500)

活用分野

• 動画コンテンツ分析: YouTube/SNS 動画の自動タグ付け
• 教育: 動画講義の Q&A システム
• 医療: 手術動画の自動レポート生成
• 監視・安全: セキュリティカメラ映像の異常検知