Recentemente, a Stability AI anunciou uma tecnologia revolucionária de processamento de vídeo: o Stable Video4D. Essa tecnologia consegue transformar um vídeo de um único ângulo em oito vídeos com ângulos diferentes, oferecendo aos criadores flexibilidade e criatividade sem precedentes.
O Stable Video4D se baseia no modelo Stable Video Diffusion, lançado anteriormente pela empresa. Diferentemente da conversão de imagens em vídeos, o novo modelo recebe um vídeo como entrada e gera vários vídeos com novos ângulos de saída, representando um grande avanço na geração de vídeos baseados em imagens para a síntese de vídeos dinâmicos 3D completos.
Para usar, o usuário precisa apenas enviar um vídeo e especificar a posição da câmera 3D desejada. O Stable Video4D gera então oito vídeos com novos ângulos, fornecendo uma perspectiva multi-angular completa. Atualmente, o modelo consegue gerar oito ângulos de um vídeo de 5 frames em aproximadamente 40 segundos, sendo que todo o processo de otimização 4D leva cerca de 20 a 25 minutos.
Em comparação com métodos anteriores, o Stable Video4D consegue gerar vários vídeos com novos ângulos simultaneamente, aumentando significativamente a consistência espacial e temporal. Isso não apenas garante a consistência dos objetos em vários ângulos e timestamps, mas também resulta em uma estrutura de otimização 4D mais leve.
A Stability AI afirma que o Stable Video4D está atualmente em fase de pesquisa, mas no futuro poderá ser amplamente utilizado em desenvolvimento de jogos, edição de vídeo e realidade virtual. A empresa está otimizando ativamente o modelo para lidar com uma gama mais ampla de vídeos do mundo real.
O Stable Video4D já está disponível para uso na plataforma Hugging Face. A Stability AI espera, por meio de pesquisa e desenvolvimento contínuos, melhorar ainda mais o potencial dessa tecnologia para criar vídeos realistas em múltiplos ângulos. A empresa continuará colaborando com pesquisadores, especialistas e a comunidade para impulsionar a inovação tecnológica e melhorar continuamente o desempenho do modelo.
Endereço do modelo: https://huggingface.co/stabilityai/sv4d
