Emu Editは、タスク認識と生成を通じて高精度な画像編集を行うマルチタスク画像編集モデルです。この分野における最新の技術的ブレークスルーを実現しています。Emu Editのアーキテクチャはマルチタスク学習向けに最適化されており、領域ベースの編集、自由形式の編集、物体検出とセグメンテーションなどのコンピュータビジョンタスクを含む数多くのタスクで訓練されています。さらに、これらの多様なタスクをより効果的に処理するため、生成プロセスを適切に誘導する学習済みタスク埋め込みの概念を導入しています。マルチタスク学習と学習済みタスク埋め込みの活用により、編集指示の正確な実行能力が大幅に向上しています。 Emu Editは、未学習タスクへの迅速な適応もサポートしており、タスク反転による少样本学習を実現しています。この過程では、モデルの重みを変更せずに、タスク埋め込みのみを更新して新しいタスクに適応します。実験により、Emu Editは超解像度や輪郭検出など、新しいタスクに迅速に適応できることが実証されています。そのため、アノテーションデータが限られている場合や計算リソースに制約がある場合に、Emu Editによるタスク反転は特に有効です。 指示に基づく画像編集モデルの厳格かつ根拠に基づいた評価を支援するため、7種類の異なる画像編集タスク（背景変更、全体的な画像変化、スタイル変更、オブジェクト削除、オブジェクト追加、部分的な変更、カラー/テクスチャ変更）を含む新しいベンチマークデータセットを作成し、公開しています。さらに、Emu Editとの適切な比較を行うために、Emu Editによるデータセット生成結果も公開しています。 Emu Edit 2023 Meta著作権所有