オーディオビジュアルLLM（オーディオビジュアルエルエルエム）

オーディオビジュアルLLMとは

オーディオビジュアルLLM（Audio-Visual LLM）は、音声（Audio）と映像（Visual）の両方を入力として受け取り、大規模言語モデルで統合処理するマルチモーダルAI。動画の包括的理解から音声・映像の同期生成まで幅広い応用を持つ。

なぜ音声と映像の統合が重要か

人間のコミュニケーションは多感覚。発話内容（テキスト）だけでなく:

• 声のトーン・感情（音声）
• 話者の表情・ジェスチャー（映像）
• 背景音・環境音（音声）
• 字幕・スライド（映像テキスト）

これら全てを統合することで「動画を読む」AIが実現する。

音声の処理パイプライン

音声トークン化の二方針

連続特徴方式:

音声波形 → Whisper Encoder → 連続特徴量 → LLM Cross-Attention

• 高精度だが計算量大
• OpenAI Whisper large-v3を採用するモデルが多い

離散トークン方式:

音声波形 → EnCodec/DAC → 離散コードブック → テキストと同列に処理

• テキストトークンと同一シーケンスに配置可能
• VALL-E系音声合成モデルが採用

主要モデル

VideoLLaMA2（DAMO Academy 2024）

• 動画フレームをSigLIPでエンコード
• 音声をWhisperでエンコード後、Q-Formerで統合
• 1M動画キャプションデータで学習
• VideoMME/MVBench等でSOTA

NExT-GPT（NUS 2023）

• Any-to-Any生成対応（テキスト/画像/音声/動画）
• 各モダリティに対応したDecoder（Stable Diffusion/AudioLDM2/ZeroScope）を接続
• LLMが「指揮者」として出力モダリティを決定

OneLLM（OpenGVLab 2023）

• 8モダリティ（テキスト/画像/音声/動画/深度/慣性/FMRI/点群）を統合
• Universal Encoder + Modality-Specific Projectorの設計

GPT-4o（OpenAI 2024）

• リアルタイム音声ビジョンインタラクションを実現
• 音声入力から応答まで平均320msのレイテンシ
• 感情・表情の理解と音声での感情表現

音声・映像同期生成

音声と映像を協調生成する技術:

• Loopy（Microsoft 2024）: 音声を条件に口パク動画を生成
• EMO（Alibaba 2024）: 参照画像+音声から自然な話者動画を生成
• V-Express: 音声駆動のポートレートアニメーション

評価ベンチマーク

• Video-MME: 動画質問応答（字幕あり/なし）
• MVBench: マルチビュー動画理解（20タスク）
• VALOR-32K: 音声・映像・テキストの三者統合評価