クロスモーダルアテンションとは？（クロスモーダルアテンション）意味・特徴をわかりやすく解説

MMBench: 多軸マルチモーダル理解
MMMU: 大学レベルの視覚推論
OCRBench: 文書OCR精度
Video-MME: 動画理解の長時間コンテキスト評価

異なるモダリティ（画像・テキスト・音声など）間で相互参照するアテンション機構。マルチモーダルモデルの中核技術。

クロスモーダルアテンションとは

クロスモーダルアテンション（Cross-Modal Attention）は、Transformerアーキテクチャのアテンション機構を異なるモダリティ間に適用する技術。テキスト・画像・音声・動画など複数の入力形式を組み合わせるマルチモーダルLLMの核心を担う。

標準的なセルフアテンションでは同一シーケンス内でQ/K/Vを計算するのに対し、クロスモーダルアテンションではクエリ（Q）を一方のモダリティから、キー（K）とバリュー（V）を別のモダリティから取得する。

CrossAttn(Q_text, K_image, V_image)
= softmax(Q_text · K_image^T / √d_k) · V_image

この設計により「テキストが画像のどの領域に注目すべきか」を動的に学習できる。

商用モデルでは詳細は非公開だが、画像トークンを言語トークンと同一シーケンスに配置し、双方向アテンションを適用する「Early Fusion」と、別ストリームで処理してクロスアテンションで統合する「Late Fusion」の2方針が知られている。

高解像度画像では視覚トークン数が急増し（448×448で256トークン以上）、O(n²)のアテンションがボトルネックとなる。対策:

Whisper特徴量やEncodecトークンをクロスアテンションで言語モデルに統合するアプローチがGPT-4o（2024）で実用化。リアルタイム音声対話が可能になった。