MorphCut
Suaviza los cortes bruscos, elimina las palabras de relleno y genera videos fluidos.
Producto ComúnVideoProcesamiento de vídeoSuavizado de cortes bruscos
Este producto ofrece un novedoso marco para suavizar los cortes bruscos, especialmente en videos de conversaciones. Aprovecha la apariencia del sujeto en el video, utilizando una representación intermedia impulsada por puntos clave DensePose y marcadores faciales para fusionar información de otros fotogramas fuente. Para lograr el movimiento, interpola los puntos clave y los marcadores entre los fotogramas finales alrededor del corte. Luego, utiliza una red de transformación de imágenes para sintetizar píxeles a partir de los puntos clave y los fotogramas fuente. Como los puntos clave pueden contener errores, se propone un mecanismo de atención intermodal para seleccionar y elegir la fuente más adecuada para cada punto clave. Al utilizar esta representación intermedia, nuestro método puede obtener resultados más sólidos que los métodos base de interpolación de video. Demostramos nuestro método en varios cortes bruscos de videos de conversaciones, como la eliminación de palabras de relleno, pausas e incluso cortes aleatorios. Nuestros experimentos muestran que podemos lograr transiciones sin fisuras incluso en situaciones desafiantes, como la rotación o el movimiento brusco de la cabeza del interlocutor.