画像テキストコントラスティブ学習（ガゾウテキストコントラスティブガクシュウ）

画像テキストコントラスティブ学習とは

画像テキストコントラスティブ学習（Image-Text Contrastive Learning）は、対応する画像とテキストのペアを同一埋め込み空間で近接させ、対応しないペアを遠ざける自己教師あり学習手法。CLIPの成功（2021）以降、マルチモーダルLLM事前学習の標準パラダイムとなった。

損失関数の詳細

InfoNCE損失（CLIP使用）

ミニバッチサイズNのペア集合 {(i₁,t₁), ..., (iN,tN)} に対して:

# 画像→テキスト方向の損失
L_i2t = -1/N * Σ log [exp(sim(iₖ,tₖ)/τ) / Σⱼ exp(sim(iₖ,tⱼ)/τ)]

# テキスト→画像方向の損失  
L_t2i = -1/N * Σ log [exp(sim(tₖ,iₖ)/τ) / Σⱼ exp(sim(tₖ,iⱼ)/τ)]

# 最終損失
L = (L_i2t + L_t2i) / 2

• sim(): コサイン類似度
• τ: 学習可能な温度パラメータ（CLIPでは初期値0.07）
• 大きいバッチが必要: 負例数 = N-1 であり、CLIPはGPU32768枚相当で学習

SigLIP損失（2023）

# Sigmoid二値交差エントロピーで代替
L = -Σᵢ Σⱼ [yᵢⱼ log σ(xᵢⱼ) + (1-yᵢⱼ) log(1-σ(xᵢⱼ))]
# yᵢⱼ = 1（正例）または-1（負例）

• ソフトマックス正規化不要 → バッチサイズに依存しない
• 分散学習でバッチ共有が不要になり大幅な通信削減
• 同等以上の精度をより効率的に達成

発展手法

FLAVA（Meta 2022）

• ユニモーダルMasked Image/Text Modelingとコントラスト損失を併用
• 単一エンコーダで視覚・言語・マルチモーダルタスクに対応

BLIP（Salesforce 2022）

• ITC（Image-Text Contrastive）+ ITM（Image-Text Matching）+ LM損失の三重学習
• キャプション生成能力が高い

BLIP-2（2023）

• Q-Former（Querying Transformer）でフローズン画像エンコーダとLLMを橋渡し
• 学習可能パラメータを最小化しつつ高性能

ALIGN（Google 2021）

• 18億のノイジーWeb画像テキストペアで学習
• データノイズへの耐性を実証

負例選択の重要性

• ハード負例マイニング: 類似度の高い偽ペアを意図的に学習
• In-Batch Negative: ミニバッチ内の全非ペアを負例に使用
• MoCo/SimCLR式のメモリキュー: 過去バッチの表現を負例として再利用

応用

• ゼロショット分類: CLIPで学習済みエンコーダを下流タスクに転移
• 画像検索: クエリテキストに最も類似した画像をベクトル探索
• VQA事前学習: 視覚質問応答の初期化
• 医療画像-レポート対応: CheXclip等の医療ドメイン特化版