Emu Edit ist ein Multitask-Bildbearbeitungsmodell, das mithilfe von Erkennungs- und Generierungsaufgaben eine präzise Bildbearbeitung ermöglicht und auf diesem Gebiet neueste technologische Fortschritte erzielt hat. Die Architektur von Emu Edit ist für Multitask-Lernen optimiert und wurde an zahlreichen Aufgaben trainiert, darunter regionenbasierte Bearbeitung, freiformige Bearbeitung sowie Detektions- und Segmentierungsaufgaben aus dem Bereich Computer Vision. Um diese vielfältigen Aufgaben effizienter zu bewältigen, haben wir das Konzept der erlernten Aufgaben-Einbettungen eingeführt, die den Generierungsprozess steuern, um Bearbeitungsanweisungen korrekt auszuführen. Sowohl das Multitask-Training als auch die Verwendung erlernter Aufgaben-Einbettungen verbessern die präzise Ausführung von Bearbeitungsanweisungen deutlich. Emu Edit unterstützt auch die schnelle Anpassung an unbekannte Aufgaben durch Task Inversion und damit verbundenes Few-Shot-Learning. Dabei bleiben die Modellgewichte unverändert, und lediglich die Aufgaben-Einbettungen werden aktualisiert, um sich an neue Aufgaben anzupassen. Unsere Experimente zeigen, dass Emu Edit sich schnell an neue Aufgaben wie Superauflösung und Konturerkennung anpassen kann. Dies macht Task Inversion mit Emu Edit besonders vorteilhaft, wenn nur begrenzt markierte Daten oder ein begrenztes Rechenbudget zur Verfügung stehen. Um eine rigorose und fundierte Bewertung von anweisungsbasierten Bildbearbeitungsmodellen zu ermöglichen, haben wir außerdem einen neuen Benchmark-Datensatz mit sieben verschiedenen Bildbearbeitungsaufgaben veröffentlicht: Hintergrundänderung (Hintergrund), globale Bildveränderungen (global), Stiländerung (Stil), Objektentfernung (Entfernen), Objekt hinzufügen (Hinzufügen), lokale Änderungen (lokal) und Farb-/Texturänderungen (Textur). Zusätzlich zu den Ergebnissen von Emu Edit auf diesem Datensatz stellen wir diese auch zum Vergleich bereit. Emu Edit 2023 Meta. Alle Rechte vorbehalten.