Emu Edit est un modèle d'édition d'images multitâches qui effectue une édition d'images précise grâce à la reconnaissance et à la génération de tâches, et qui a réalisé des percées technologiques de pointe dans ce domaine. L'architecture d'Emu Edit est optimisée pour l'apprentissage multitâches et a été entraînée sur de nombreuses tâches, notamment l'édition par zones, l'édition libre, ainsi que des tâches de vision par ordinateur telles que la détection et la segmentation. De plus, pour gérer efficacement ces multiples tâches, nous avons introduit le concept d'intégration de tâches apprises, utilisées pour guider le processus de génération afin d'exécuter correctement les instructions d'édition. L'entraînement multitâches de notre modèle et l'utilisation d'intégrations de tâches apprises améliorent considérablement la capacité à exécuter précisément les instructions d'édition. Emu Edit prend également en charge l'adaptation rapide aux tâches inédites grâce à l'apprentissage par petit échantillon via l'inversion de tâches. Dans ce processus, nous maintenons les poids du modèle inchangés et ne mettons à jour que l'intégration des tâches pour s'adapter aux nouvelles tâches. Nos expériences montrent qu'Emu Edit peut s'adapter rapidement à de nouvelles tâches, telles que la sur-résolution et la détection de contours. Cela rend l'utilisation de l'inversion de tâches avec Emu Edit particulièrement avantageuse lorsque les échantillons annotés ou le budget de calcul sont limités. Pour permettre une évaluation rigoureuse et justifiée des modèles d'édition d'images basés sur les instructions, nous avons également collecté et publié publiquement un nouveau jeu de données de référence comprenant sept tâches d'édition d'images différentes : modification de l'arrière-plan (background), modifications globales de l'image (global), modification de style (style), suppression d'objets (remove), ajout d'objets (add), modifications locales (local) et modifications de couleur/texture (texture). De plus, pour permettre une comparaison correcte avec Emu Edit, nous partageons également les résultats de génération d'Emu Edit sur le jeu de données. Emu Edit 2023 Meta. Tous droits réservés.