IP-Adapter（アイピーアダプター）
画像をプロンプトとして利用しDiffusionモデルを誘導するアダプター手法。Tencent AI Labが2023年に発表。元のモデルを変更せず22Mパラメータの軽量アダプターを追加するだけで参照画像のスタイル・コンテンツをゼロショットで転写できる汎用的な画像条件付け技術。
IP-Adapter — 画像をプロンプトにするDiffusion拡張技術
概要
IP-Adapter（Image Prompt Adapter）は2023年にTencent AI Labが発表したDiffusionモデルの画像条件付け手法だ。「テキストで構図を指示しながら、参照画像のスタイルを別の生成に転写したい」というニーズに応える技術で、元のモデルを変更せずに軽量なアダプターモジュールを追加するだけで動作する。
核心技術: Decoupled Cross-Attention
従来の問題
従来のDiffusionモデルはCLIPテキスト特徴によるCross-Attentionで条件付けされていた。参照画像の特徴を同じCross-Attention層に混在させると、テキストと画像の特徴が干渉し合い品質が低下する問題があった。
IP-Adapterのソリューション
Decoupled Cross-Attention（分離型クロスアテンション）を採用し、テキスト用と画像用の独立したCross-Attention層を並列に設けた:
- テキストCross-Attention: オリジナルのテキストプロンプト特徴を処理
- 画像Cross-Attention: CLIP画像エンコーダーで抽出した参照画像特徴を処理
- 出力: 両Cross-Attentionの出力を加算して最終特徴マップを生成
この設計によりテキストと画像の情報が相互干渉せずに独立して寄与できる。
モデルアーキテクチャ
コンポーネント
- Image Encoder: CLIP ViT-H/14で参照画像の特徴を抽出（768次元）
- Projection Network: 小型MLPで特徴次元をDiffusion向けに変換
- Decoupled Cross-Attention: UNet各ブロックに追加された画像専用アテンション層
パラメータ数
追加アダプターのパラメータ数はわずか22M（Stable Diffusion本体860Mの約2.5%）で、にもかかわらず画像条件付けを実現できる高い効率性が特徴だ。
バリアント
- IP-Adapter: 標準版、画像全体のスタイル転写
- IP-Adapter-Plus: より細かい特徴の転写、強力な顔・コンテンツ保持
- IP-Adapter-Face: 人物の顔同一性保持に特化
- IP-Adapter-FaceID: 顔ID特化版、より高精度な同一人物生成
ControlNetとの組み合わせ
IP-AdapterはControlNet（姿勢・輪郭制御）やLoRA（スタイルファインチューニング）と組み合わせて使用できる。例えばControlNet（ポーズ制御）+ IP-Adapter（スタイル転写）で特定の姿勢で参照画像のスタイルを適用できる。
普及とエコシステム
IP-AdapterはStable Diffusionコミュニティで爆発的に普及した。ComfyUIやAUTOMATIC1111（A1111）のプラグインとして実装され、多くのAI画像生成ユーザーが日常的に使用している。特に「顔の同一性を保ちながら別の画像スタイルを適用する」用途での需要が高い。
まとめ
IP-Adapterは「画像をプロンプトとして使う」という直感的なコンセプトをDecoupled Cross-Attentionで実現した技術だ。軽量アダプター設計で既存モデルとの高い互換性を保ちながら、テキストと画像の両方向から生成を制御できる汎用性がコミュニティへの広範な普及を支えている。