Kürzlich hat das Forschungsteam der Alibaba Group ein neues Framework namens UniPortrait veröffentlicht, das sich auf die personalisierte Bearbeitung von Porträtbildern konzentriert und Konsistenz bei einzelnen und mehreren Personen sowie Stilreferenzen ermöglicht.
Dieses Framework kann nicht nur Bilder einzelner Personen bearbeiten, sondern auch hochwertige, personalisierte Anpassungen in Szenarien mit mehreren Personen durchführen. UniPortrait zeichnet sich durch die hochrealistische Erhaltung der Gesichtsmerkmale und die Unterstützung umfangreicher Gesichtsbearbeitungsfunktionen aus. Benutzer können sogar mit frei formulierten Textbeschreibungen die gewünschten Bilder generieren, ohne an feste Layouts gebunden zu sein.
Konsistenz bei einzelnen Personen
Der Kern von UniPortrait besteht aus zwei Modulen: dem ID-Einbettungsmodul und dem ID-Routing-Modul. Das ID-Einbettungsmodul extrahiert die editierbaren Gesichtsmerkmale jeder Person und bettet diese entkoppelt in den Kontextraum des Diffusionsmodells ein. Anschließend kombiniert und verteilt das ID-Routing-Modul diese Merkmale adaptiv je nach den verschiedenen Bereichen der Bildsynthese, um die personalisierte Anpassung für einzelne und mehrere Personen zu ermöglichen.
Konsistenz bei mehreren Personen
Während des Trainings verwendet UniPortrait ein sorgfältig entwickeltes zweistufiges Trainingsprogramm. Die erste Stufe konzentriert sich auf das Training einzelner Personen, die zweite Stufe verfeinert dann mehrere Personen. Durch diese Trainingsmethode übertrifft UniPortrait bestehende Methoden bei der personalisierten Anpassung sowohl für einzelne als auch für mehrere Personen. Die Ergebnisse zeigen auch eine gute Skalierbarkeit und Kompatibilität mit bestehenden Werkzeugen zur Generierungssteuerung.
UniPortrait eröffnet neue Möglichkeiten für die personalisierte Anpassung von Porträtbildern, insbesondere bei der Generierung von frei formulierten Hinweisen und vielfältigen Layouts. Das Forschungsteam hat mehrere Beispiele für die Personalisierung einzelner und mehrerer Personen gezeigt, die das enorme Potenzial dieses Frameworks in der Praxis aufzeigen. Zusammenfassend lässt sich sagen, dass UniPortrait nicht nur die Qualität der Bilderzeugung verbessert, sondern auch den Weg für zukünftige Anwendungen ebnet.
Produkt-Projekt-Eingang: https://top.aibase.com/tool/uniportrait
Testversion: https://huggingface.co/spaces/Junjie96/UniPortrait
Wichtige Punkte:
🌟UniPortrait ist ein neues Framework, das sich auf die personalisierte Bearbeitung von Bildern einzelner und mehrerer Personen konzentriert und eine hochwertige Erhaltung der Gesichtsmerkmale bietet.
✍️ Das Framework besteht aus einem ID-Einbettungsmodul und einem ID-Routing-Modul und erreicht durch ein zweistufiges Trainingsprogramm eine effiziente Anpassung.
🚀 UniPortrait bietet umfangreiche Möglichkeiten für die personalisierte Anpassung von Porträts und unterstützt die Generierung von frei formulierten Textbeschreibungen und vielfältigen Layouts.