VideoLLaMA3（ビデオラマスリー）

VideoLLaMA3とは

VideoLLaMA3はAlibaba DAMO Academyが開発した動画理解特化のLarge Language Modelシリーズ。第3世代として2025年初頭に公開され、前世代の課題だった長尺動画の効率処理と時間的一貫性理解を大幅に改善した。

主要技術

Spatial-Temporal Pooler

ビデオフレームを空間的・時間的に圧縮するモジュール。隣接フレーム間の冗長情報を削減しながら動きの変化に富むシーンでは高い時間解像度を保持する適応型サンプリングを実施する。

Any2Video設計

画像・動画・テキストを統一した入力フォーマットで処理する設計思想。静止画と動画で別々のエンコーダを使う旧来設計とは異なり、単一のビジョンエンコーダが両方を処理することで転移学習の効率が高い。

フレーム適応型サンプリング

動画の内容密度に応じてサンプリングレートを自動調整。静止シーン（スライド表示等）では低フレームレート、アクション密度の高いシーンでは高フレームレートでサンプリングし、トークン消費を最小化する。

ベンチマーク性能（72Bモデル）

• Video-MME: 72.2点（字幕なし）
• MVBench: 73.1点
• EgoSchema: 74.0点
• ActivityNet-QA: 63.2点

モデルラインアップ

• VideoLLaMA3-7B: Apache 2.0ライセンス（商用利用可）
• VideoLLaMA3-72B: Qwenライセンス（月間1億ユーザー未満は商用OK）

活用場面

• スポーツ中継の自動ハイライト生成
• 製造ライン動画の品質検査支援
• 教育コンテンツの章立て・問題自動生成
• セキュリティカメラの異常動作検知

入手方法

Hugging Face: DAMO-NLP-SG/VideoLLaMA3-7B。transformersライブラリの最新版とvideo_llama3パッケージで動作。vLLMサービングにも対応しており、プロダクション環境へのデプロイが容易。