Motion-I2V
Un marco de generación de imagen a vídeo controlable
Producto ComúnImagenGeneración de imágenesGeneración de vídeo
Motion-I2V es un nuevo marco para la generación de imagen a vídeo (I2V) consistente y controlable. A diferencia de los métodos anteriores que aprenden directamente el complejo mapeo de imagen a vídeo, Motion-I2V descompone I2V en dos etapas y emplea un modelado de movimiento explícito. En la primera etapa, proponemos un predictor de campo de movimiento basado en difusión, centrado en la inferencia de trayectorias de píxeles de la imagen de referencia. En la segunda etapa, proponemos una atención temporal mejorada por movimiento para mejorar la atención temporal unidimensional limitada en el modelo de difusión latente de vídeo. Este módulo puede propagar eficazmente las características de la imagen de referencia a los fotogramas sintéticos guiados por las trayectorias predichas en la primera etapa. En comparación con los métodos existentes, Motion-I2V genera vídeos más consistentes incluso en presencia de grandes movimientos y cambios de perspectiva. Al entrenar una red de control de trayectoria dispersa para la primera etapa, Motion-I2V permite a los usuarios controlar con precisión la trayectoria y el área de movimiento, con capacidad de control mediante anotaciones dispersas de trayectoria y área. Esto ofrece un control más preciso que depender únicamente de descripciones de texto. Además, la segunda etapa de Motion-I2V admite naturalmente la conversión de vídeo a vídeo de muestra cero. Las comparaciones cualitativas y cuantitativas muestran que Motion-I2V supera a los métodos anteriores en la generación consistente y controlable de imagen a vídeo.
Motion-I2V Situación del tráfico más reciente
Total de visitas mensuales
1028
Tasa de rebote
43.70%
Páginas promedio por visita
1.6
Duración promedio de la visita
00:00:26