VideoReTalking
Edición de vídeo impulsada por audio, que logra una sincronización de labios de alta calidad.
Producto ComúnVideoImpulsado por audioSincronización labial
VideoReTalking es un nuevo sistema capaz de editar la cara de vídeos reales de personas hablando, basándose en el audio de entrada, para generar vídeos de salida con una sincronización labial de alta calidad, incluso si las emociones son diferentes. El sistema descompone este objetivo en tres tareas consecutivas: (1) Generación de un vídeo facial con expresiones normalizadas usando una red de edición de expresiones; (2) Sincronización labial impulsada por audio; (3) Mejora facial para aumentar el realismo fotográfico. Dado un vídeo de una persona hablando, primero modificamos la expresión de cada fotograma usando una red de edición de expresiones, basándonos en una plantilla de expresión común, para obtener un vídeo con expresiones normalizadas. A continuación, este vídeo se introduce, junto con el audio dado, en una red de sincronización labial, generando un vídeo con sincronización labial. Finalmente, mejoramos el realismo fotográfico de las caras sintetizadas mediante una red de mejora facial con reconocimiento de identidad y un postprocesamiento. Usamos métodos basados en aprendizaje para los tres pasos, y todos los módulos se procesan en una cadena secuencial sin necesidad de intervención del usuario.