VideoReTalking ist ein neuartiges System, das Echtzeit-Videos von sprechenden Köpfen anhand eines eingegebenen Audiosignals bearbeiten kann, um ein hochqualitatives, lippensynchrones Ausgabevideo zu erzeugen, selbst bei unterschiedlichen Emotionen. Das System zerlegt dieses Ziel in drei aufeinanderfolgende Aufgaben: (1) Generierung eines Videos mit normalisierter Mimik mithilfe eines Mimik-Bearbeitungsnetzwerks; (2) Audiogesteuerte Lippensynchronisation; (3) Gesichtsverfeinerung zur Verbesserung des Realismus. Gegeben ein Video eines sprechenden Kopfes, verändern wir zunächst die Mimik jedes einzelnen Frames mithilfe eines Mimik-Bearbeitungsnetzwerks anhand einer einheitlichen Mimikvorlage, um ein Video mit normalisierter Mimik zu erhalten. Dieses Video wird dann zusammen mit dem gegebenen Audiosignal in ein Lippensynchronisationsnetzwerk eingespeist, um ein lippensynchrones Video zu generieren. Schließlich verbessern wir die fotorealistische Darstellung des synthetischen Gesichts durch ein identitätserkennendes Gesichtsverfeinerungsnetzwerk und Nachbearbeitung. Wir verwenden für alle drei Schritte lernbasierte Methoden, wobei alle Module in einer sequenziellen Pipeline ohne jeglichen Benutzereingriff verarbeitet werden können.