ビジュアル言語アライメント（ビジュアルゲンゴアライメント）

ビジュアル言語アライメントとは

ビジュアル言語アライメント（Visual-Language Alignment）は、画像の視覚的特徴とテキストの意味表現を共通の埋め込み空間に写像し、対応するペアの表現を近接させる学習パラダイム。マルチモーダルAIの基盤技術として位置づけられる。

CLIPによる確立（2021）

OpenAIのCLIP（Contrastive Language-Image Pre-Training）は4億枚のWeb画像テキストペアで学習し、以下のコントラスト損失を最小化する:

L = -log [exp(sim(vi, ti)/τ) / Σ_j exp(sim(vi, tj)/τ)]

• vi: 画像エンコーダ出力
• ti: テキストエンコーダ出力
• τ: 温度パラメータ
• ミニバッチ内の正例ペアを最大化、負例を最小化

主要手法の比較

ALIGN（Google 2021）

• 18億ペアで学習（CLIPの4倍以上）
• ノイズの多いWeb画像テキストペアでも有効なことを実証

SigLIP（Google 2023）

• Sigmoid損失でソフトマックス正規化を排除
• バッチ内の全負例ペア計算不要→スケーラブル
• 多言語対応版（SigLIP-SO400M）がLLaVA-Nextに採用

MetaCLIP（Meta 2023）

• Web上のキュレーションデータセット構築アルゴリズムを公開
• CLIP同等性能をオープンデータで達成

EVA-CLIP（BAAI 2023）

• 18Bパラメータの大型視覚エンコーダ
• InternVLなど中国系マルチモーダルモデルに多用

アライメントの深化：ファインチューニング段階

CLIP等で初期アライメント後、LLM連携では更なる調整が必要:

1. Projection Layer学習: CLIP視覚特徴をLLM次元に射影するMLPまたはQ-Former
2. Visual Instruction Tuning: 画像+テキスト指示ペアでEnd-to-end調整
3. RLHF for Vision: 人間フィードバックで幻覚（hallucination）を削減

ゼロショット転移能力

CLIPの最大の特徴は、学習データに含まれないカテゴリへの零ショット転移。ImageNet分類でViT-L/14が76.2%（ラベルなし）を達成し、専用モデルに匹敵する性能を示した。

幻覚問題

アライメントが不完全だと「画像にない物体をテキストに出力する」幻覚が発生する。対策:

• POPE評価ベンチマークで幻覚率を測定
• RLHF/DPOで幻覚傾向を修正
• Visual Contrastive Decoding（VCD）でビーム探索を改善