BLIP-2（ブリップツー）

BLIP-2 とは

BLIP-2（Bootstrapping Language-Image Pre-training with Frozen Large Language Models）は Salesforce Research が 2023 年 1 月に発表したマルチモーダル事前学習フレームワーク。凍結された視覚エンコーダ（例: EVA-ViT-g/14）と凍結された LLM（例: FlanT5-XXL, OPT-6.7B）を、学習可能な軽量モジュール Q-Former（Querying Transformer）で橋渡しする設計が核心。

Q-Former の仕組み

Q-Former は 32 個の学習可能なクエリトークンを持つ Transformer エンコーダで、2 段階の機能を担う：

1. 視覚エンコーダとのクロスアテンション: 画像特徴から最重要情報を 32 次元のクエリベクトルに圧縮
2. テキスト生成: 圧縮されたクエリを LLM の入力として渡す「情報ボトルネック」として機能

この設計により、視覚エンコーダと LLM の両方を凍結したまま、Q-Former のみを学習する効率的な 2 段階事前学習が可能。

事前学習の 2 段階

Stage 1: 視覚言語表現学習

• 凍結 ViT + Q-Former
• ITC（画像テキストコントラスト）/ ITM（画像テキストマッチング）/ ITG（画像条件付きテキスト生成）の 3 目標

Stage 2: 視覚から言語への生成学習

• Q-Former 出力を全結合層で LLM の入力次元に変換
• 凍結 LLM が視覚情報から自然文を生成

モデルバリエーション

• OPT-2.7B ベース: ~3.4B パラメータ合計、軽量・高速
• OPT-6.7B ベース: ~8.2B パラメータ合計、バランス型
• FlanT5-XXL ベース: ~12.1B パラメータ合計、指示追従に強い
• Vicuna-13B ベース: ~14.6B パラメータ合計、最高性能

後継モデルへの影響

BLIP-2 の Q-Former 設計は InstructBLIP（2023）・LLaVA（2023）・MiniGPT-4（2023） など多数の視覚言語モデルの基盤となり、現代のマルチモーダル LLM 研究に大きな影響を与えた。