Apollo Video LLM（アポロビデオエルエルエム）

Apollo Video LLMとは

ApolloはUNC Chapel HillとMicrosoftが共同で開発した動画理解特化のLarge Language Model研究プロジェクト。論文「Apollo: An Exploration of Video Understanding in Large Multimodal Models」として2024年NeurIPS Workshopで発表された。

核心技術

Slow-Fastインスパイアのデュアルパスエンコーダ

動画を2つのパスで並行処理する:

• Slow path: 低フレームレートで全体的な文脈・シーン構造を把握
• Fast path: 高フレームレートで細かい動き・短時間の変化を把握

2つのパスから得た特徴を統合することで、長尺動画の全体構造と局所的なアクションの両方を精度高く理解する。

Cross-Frame Attention

フレーム間の時間的対応関係を明示的にモデル化するAttention機構。「Aの動作がBのシーンの伏線になっている」ような長距離時間依存を捉えるのに優れ、映画・ドキュメンタリー等の物語構造理解に有効。

スケール効率

3B～7Bの小型モデルで動画QAタスクにおいて70B級のモデルと競合する性能を示した。計算コスト対性能比の高さが研究的価値を持つ。

ベンチマーク結果（Apollo-7B）

• EgoSchema: 70.9点
• Video-MME（短・中動画）: 68.7点
• MVBench: 70.4点
• ActivityNet-QA: 61.2点

研究的位置づけ

Apolloは製品モデルではなく研究モデルとして公開されている。コードとモデルウェイトはGitHubおよびHugging Faceで公開されており、動画LLMの設計原則を探求する目的で使用される。Slow-Fast設計は計算機ビジョン分野の古典的手法をLLMに応用した点で学術的意義が高い。

活用と展開

• 動画LLMの研究ベースラインとして参照
• 独自の動画理解システム構築時の設計参考
• 小型デバイス向け動画QAシステムの原型開発
• エッジデバイスでの動画解析（低メモリ要件）