モダリティ融合トランスフォーマー（モダリティユウゴウトランスフォーマー）

モダリティ融合トランスフォーマーとは

モダリティ融合トランスフォーマー（Modality Fusion Transformer）は、テキスト・画像・音声・動画・センサデータなど複数種の入力を単一のTransformerアーキテクチャ内で統合処理するモデル群の総称。「Any-to-Any」マルチモーダルAIの実現に向けた中核アーキテクチャ。

融合方針の三分類

Early Fusion（入力段階統合）

[text_tokens + image_tokens + audio_tokens] → Transformer

• 全モダリティを同一シーケンスに変換して結合
• モダリティ間相互作用が最大
• 計算量が多い（シーケンス長が倍増）
• 例: GPT-4o、Gemini Ultra

Late Fusion（出力段階統合）

text_encoder → [text_repr]
                              → fusion_layer → output
image_encoder → [img_repr]

• モダリティ別エンコーダで独立処理後に結合
• エンコーダを個別に最適化可能
• クロスモーダル細粒度相互作用が弱い
• 例: CLIP系モデル、ViLBERT初期版

Hybrid Fusion（中間層クロスアテンション）

• 独立エンコーダ + クロスアテンション層を挿入
• FLAMINGO、LLaVA系が代表
• バランスが良く現在の主流

主要アーキテクチャ

Perceiver（DeepMind 2021）

• 任意モダリティを固定サイズの潜在表現（latent array）に圧縮
• クロスアテンションで高次元入力（画像2048×2048等）を処理
• O(n²)を回避し長シーケンスに対応

UnifiedIO（Allen AI 2022）

• テキスト・画像・オーディオ・構造化データを全て「トークン列」に変換
• T5ベースのEncoder-Decoderで統一処理
• 60以上のタスクをシングルモデルで処理

AnyMAL（Meta 2023）

• LLaMAにマルチモーダルアダプタを追加
• 画像・音声・IMUセンサデータを統合処理
• ウェアラブルデバイス向けを想定

Gemini（Google 2023）

• ネイティブマルチモーダルとして設計（後付けではない）
• 動画・音声・テキスト・コードを同一モデルで処理
• Gemini 1.5では100万トークンコンテキストで長時間動画対応

トークン化戦略

モダリティ変換（各入力をトークン列へ）が融合の前提:

• 画像: ViT patch embedding（16×16ピクセル/パッチ）
• 音声: EncodecやWhisperのlog-mel spectrogramトークン
• 動画: フレームサンプリング + 時間位置エンコーディング
• センサ: 数値の離散化トークン化

課題

• モダリティ不均衡: テキストデータが画像・音声より圧倒的に多く、モダリティ間学習バランスが難しい
• 計算コスト: シーケンス長増大によるO(n²)問題
• モダリティ内崩壊: 融合によって単一モダリティ性能が低下するリスク