Recientemente, Stability AI anunció el lanzamiento de una revolucionaria tecnología de procesamiento de video: Stable Video4D. Esta tecnología puede convertir un video de un solo ángulo en ocho videos con diferentes perspectivas, ofreciendo a los creadores una flexibilidad y creatividad sin precedentes.
Stable Video4D se basa en el modelo Stable Video Diffusion, lanzado anteriormente por la compañía. A diferencia de convertir imágenes en videos, el nuevo modelo puede recibir videos como entrada y generar múltiples videos con nuevas perspectivas como salida, logrando un gran avance desde la generación de videos basada en imágenes hasta la síntesis de videos dinámicos 3D completos.
Para su uso, los usuarios solo necesitan subir un video y especificar las posiciones de cámara 3D deseadas. Stable Video4D generará ocho videos con nuevas perspectivas, proporcionando una visión multiangular completa. Actualmente, el modelo puede generar ocho perspectivas de un video de 5 fotogramas en aproximadamente 40 segundos; el proceso de optimización 4D completo tarda entre 20 y 25 minutos.
En comparación con métodos anteriores, Stable Video4D puede generar simultáneamente múltiples videos con nuevas perspectivas, mejorando significativamente la consistencia espacial y temporal. Esto no solo garantiza la coherencia de los objetos en múltiples perspectivas y marcas de tiempo, sino que también permite un marco de optimización 4D más ligero.
Stability AI indica que Stable Video4D se encuentra actualmente en fase de investigación, pero en el futuro podría tener una amplia aplicación en el desarrollo de juegos, edición de video y realidad virtual. La compañía está optimizando activamente el modelo para procesar una gama más amplia de videos del mundo real.
Stable Video4D ya está disponible en la plataforma Hugging Face. Stability AI espera, mediante la investigación y el desarrollo continuos, mejorar aún más el potencial de esta tecnología para crear videos realistas con múltiples ángulos. La compañía continuará colaborando con investigadores, expertos y la comunidad para impulsar la innovación tecnológica y mejorar continuamente el rendimiento del modelo.
Dirección del modelo: https://huggingface.co/stabilityai/sv4d
