Motion-I2V

Un marco de generación de imagen a vídeo controlable

Producto ComúnImagenGeneración de imágenesGeneración de vídeo
Motion-I2V es un nuevo marco para la generación de imagen a vídeo (I2V) consistente y controlable. A diferencia de los métodos anteriores que aprenden directamente el complejo mapeo de imagen a vídeo, Motion-I2V descompone I2V en dos etapas y emplea un modelado de movimiento explícito. En la primera etapa, proponemos un predictor de campo de movimiento basado en difusión, centrado en la inferencia de trayectorias de píxeles de la imagen de referencia. En la segunda etapa, proponemos una atención temporal mejorada por movimiento para mejorar la atención temporal unidimensional limitada en el modelo de difusión latente de vídeo. Este módulo puede propagar eficazmente las características de la imagen de referencia a los fotogramas sintéticos guiados por las trayectorias predichas en la primera etapa. En comparación con los métodos existentes, Motion-I2V genera vídeos más consistentes incluso en presencia de grandes movimientos y cambios de perspectiva. Al entrenar una red de control de trayectoria dispersa para la primera etapa, Motion-I2V permite a los usuarios controlar con precisión la trayectoria y el área de movimiento, con capacidad de control mediante anotaciones dispersas de trayectoria y área. Esto ofrece un control más preciso que depender únicamente de descripciones de texto. Además, la segunda etapa de Motion-I2V admite naturalmente la conversión de vídeo a vídeo de muestra cero. Las comparaciones cualitativas y cuantitativas muestran que Motion-I2V supera a los métodos anteriores en la generación consistente y controlable de imagen a vídeo.
Abrir sitio web

Motion-I2V Situación del tráfico más reciente

Total de visitas mensuales

1028

Tasa de rebote

43.70%

Páginas promedio por visita

1.6

Duración promedio de la visita

00:00:26

Motion-I2V Tendencia de visitas

Motion-I2V Distribución geográfica de las visitas

Motion-I2V Fuentes de tráfico

Motion-I2V Alternativas