Video-LLaMA3（ビデオラマスリー）

Video-LLaMA3 とは

Video-LLaMA3 は Alibaba グループの DAMO Academy が開発した動画理解特化型マルチモーダル LLM。Meta の LLaMA3 をバックボーンとして採用し、動画・画像・音声・テキストの 4 モダリティを統合処理できる。

Video-LLaMA 系譜

• Video-LLaMA（2023）: LLaMA-2、初期動画+音声統合
• Video-LLaMA2（2023）: LLaMA-2、時空間特徴改善
• Video-LLaMA3（2024）: LLaMA-3.1/3.2、SigLIP視覚エンコーダ、性能大幅向上

SigLIP 視覚エンコーダ

CLIP の後継として Google が開発した SigLIP（Sigmoid Loss for Language Image Pre-Training）を採用:

• Softmax 対照損失より安定した学習
• 小バッチサイズで効率的
• ImageNet zero-shot で CLIP ViT-L 超え
• 384×384 ネイティブ解像度対応

動画-音声統合処理

入力動画 → フレームサンプリング → SigLIP → 視覚トークン ┐
                                                          → MLP Projector → LLaMA3
入力音声 → Whisper / Audio Encoder → 音声トークン ─────────┘

音声情報を視覚情報と並列して LLM に入力し、音声説明付き動画の高精度理解が可能。

データキュレーション

高品質データパイプライン:

1. Video-Caption: ShareGPT4Video 等から高品質データ選別
2. 長動画データ: HowTo100M・Ego4D から 5 分以上の動画+ナレーション
3. OCR 強化: テキスト多数出現動画を特別収集
4. 音声付きデータ: 音声書き起こし付き教育/講義動画

性能比較

• Video-MME: 61.9（LLaVA-Video-7B 63.3 と同水準）
• MVBench: 68.4
• NExT-QA: 81.3
• MSVD-QA: 74.1

実装例

from video_llama import VideoLLaMA3
import torch

model = VideoLLaMA3.from_pretrained(
    "DAMO-NLP-SG/VideoLLaMA3-8B",
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

result = model.generate(
    video="lecture.mp4",
    audio=True,
    question="この講義の要点を3点まとめてください",
    max_new_tokens=300
)
print(result)

活用シーン

• オンライン教育: 講義動画の要約・Q&A 自動生成
• 会議録: 音声+画面共有動画の議事録自動化
• コンテンツ審査: SNS 動画の音声+映像を統合判断
• アクセシビリティ: 動画内容の音声説明自動生成