VideoTetris
Marco innovador para la generación de vídeo a partir de texto
Nuevo Producto PremiumVideoTexto a vídeoGeneración de vídeo
VideoTetris es un novedoso marco que permite la generación de vídeo a partir de texto, especialmente adecuado para el manejo de escenarios complejos de generación de vídeo que incluyen múltiples objetos o cuya cantidad de objetos varía dinámicamente. El marco logra esto mediante una técnica de difusión espacial y temporal combinada, siguiendo con precisión la semántica compleja del texto y operando y combinando los mapas de atención espacial y temporal de la red de eliminación de ruido. Además, introduce un nuevo mecanismo de atención de fotogramas de referencia para mejorar la coherencia de la generación de vídeo autorregresiva. VideoTetris ha obtenido resultados cualitativos y cuantitativos impresionantes en la generación combinada de vídeo a partir de texto.