Emu Edit（エミュウエディット）
Metaが2023年に発表した精密テキスト指示型画像編集フレームワーク。局所・グローバル編集の10タスクに特化したタスクベクトルを学習し、単一モデルで多様な編集操作を高精度に処理する。NeurIPS 2023で高評価を得た。
Emu Edit — タスク特化ベクトルで実現する精密画像編集
概要
Emu EditはMeta AIが2023年に発表したテキスト指示型画像編集フレームワークで、NeurIPS 2023に採択された。MetaのEmu（画像生成モデルファミリー）シリーズの編集特化版として開発され、タスクベクトルという独自のアーキテクチャで多様な画像編集操作を単一モデルで高精度に処理する。
タスクベクトルアーキテクチャ
10タスクの明示的分類
Emu Editの核心アイデアは、画像編集操作を10種類の明示的なタスクカテゴリに分類し、各タスクに対応するベクトルを学習することだ:
- 局所テクスチャ変換: 特定領域の素材・質感を変更
- グローバルテクスチャ変換: 画像全体のテクスチャ変換
- 色変更: 特定オブジェクトや領域の色を変更
- スタイル変換: アーティスティックスタイルへの変換
- オブジェクト追加: 新しいオブジェクトを画像に挿入
- オブジェクト削除: 既存オブジェクトを自然に除去
- 背景変更: 前景を保ちながら背景を置換
- 人物属性変更: 人物の年齢・表情・服装等を変更
- テキスト編集: 画像内のテキストを変更
- ジオメトリ変換: 構図・視点・スケールを変更
タスクベクトルの役割
各タスクに対応するタスクベクトルはDiffusionモデルの生成プロセスを誘導する役割を果たす。ユーザーが編集指示を入力すると、LLMが指示を解析してどのタスクカテゴリに該当するかを判定し、対応するタスクベクトルをDiffusionの推論に注入する。
この明示的なタスク分類により:
- タスク間干渉の回避: 異なる編集タイプが互いに混乱しない
- 高い予測可能性: タスクカテゴリが明確なため出力が安定
- タスク別性能の最適化: 各カテゴリを個別に評価・改善可能
学習データ
Emu Editは10カテゴリにわたる10百万枚以上の合成学習データペアを使用している。データはカテゴリ別にバランスよく構成されており、従来手法が弱かったタスク（テキスト編集、ジオメトリ変換）も十分なサンプル数で学習されている。
定量評価
MagicBrushテストセット上での評価:
- CLIP-T（指示追従）: InstructPix2Pix比 +12%
- CLIP-I（画像一貫性）: InstructPix2Pix比 +8%
- DINO（構造保持）: InstructPix2Pix比 +15%
特に局所編集（オブジェクト追加・削除・色変更）での精度向上が顕著だ。
まとめ
Emu Editは「編集タスクを明示的に分類してコントロールする」というアーキテクチャ設計が多様な画像編集操作の精度と予測可能性を大幅に向上させることを示した。Meta AIによる大規模研究リソースを活用した高品質な合成データと相まって、テキスト指示型画像編集の新たなベンチマークを設定した研究だ。