ByteDance hat kürzlich X-Portrait2 vorgestellt, eine neue Technik zur Porträtanimation, die lebensechte und ausdrucksstarke Charakteranimationen mit extrem niedrigen Kosten und hoher Effizienz ermöglicht. Benutzer benötigen lediglich ein statisches Porträtbild und ein Ausdrucks-Steuerungsvideo. X-Portrait2 überträgt die Mimik des Videos auf das Porträt und generiert so ein Animationsvideo. Dies vereinfacht den komplexen Prozess der traditionellen Motion Capture und Charakteranimation erheblich.
Das Herzstück der Technologie ist ein fortschrittliches Gesichtsausdrucks-Codierungsmodell, das mit einem umfangreichen Datensatz trainiert wurde und subtile Gesichtsausdrücke implizit codieren kann. In Kombination mit einem leistungsstarken generativen Diffusionsmodell erzeugt X-Portrait2 flüssige und ausdrucksstarke Videos, die selbst kleinste Gesichtsausdrücke des Schauspielers übertragen, einschließlich herausfordernder Ausdrücke wie Lippenverziehen, Zungenzeigen, Wangenaufblasen und Stirnrunzeln. Gleichzeitig bleibt die emotionale Genauigkeit der generierten Videos hoch.
Während des Trainings des Gesichtsausdrucks-Codierers stellte das Entwicklungsteam eine starke Trennung zwischen Aussehen und Bewegung sicher, sodass sich der Codierer auf die im Video mit Ausdrücken verbundenen Informationen konzentrieren konnte. Dieses Design ermöglicht die Übertragung von Ausdrücken über Stile und Domänen hinweg und eignet sich für eine Vielzahl von Szenarien, darunter Realgeschichten, Charakteranimationen, virtuelle Avatare und visuelle Effekte.
Im Vergleich zu bestehenden, hochmodernen Methoden wie X-Portrait und Runway Act-One zeigt X-Portrait2 eine höhere Genauigkeit bei schnellen Kopfbewegungen, subtilen Änderungen der Mimik und der Übertragung persönlicher Emotionen – Aspekte, die für die Erstellung hochwertiger Animationsinhalte, wie z. B. Animationsfilme, von entscheidender Bedeutung sind.