A criação de conteúdo 3D está se tornando cada vez mais importante e amplamente utilizada em indústrias como realidade aumentada (AR), realidade virtual (VR), jogos e cinema. Com o desenvolvimento de modelos de difusão e conjuntos de dados de objetos 3D em larga escala, a geração de modelos 3D básicos já obteve progresso significativo. No entanto, a geração de conteúdo 3D dinâmico, ou seja, a geração 4D, enfrenta desafios maiores. O principal problema reside em como manter simultaneamente a consistência espaço-temporal da aparência visual e do movimento dinâmico.
Neste trabalho, os pesquisadores propuseram uma nova estrutura chamada Animate3D, projetada para animar qualquer modelo 3D estático. O Animate3D é uma estrutura inovadora desenvolvida em conjunto pelo Instituto de Automação da Academia Chinesa de Ciências e pela DAMO Academy do Grupo Alibaba.
A ideia central desta estrutura inclui dois aspectos: primeiro, um novo modelo de difusão de vídeo multi-visão (MV-VDM) é proposto, baseado na renderização multi-visão de objetos 3D estáticos e treinado em um conjunto de dados de vídeo multi-visão de alta qualidade em larga escala (MV-Video). Em segundo lugar, baseado no MV-VDM, uma estrutura combinando reconstrução e amostragem de destilação de pontuação 4D (4D-SDS) é introduzida, utilizando o conhecimento prévio da difusão de vídeo multi-visão para animar objetos 3D.
Especificamente, o MV-VDM projetou um novo módulo de atenção espaço-temporal, integrando modelos de difusão 3D e de vídeo para melhorar a consistência espacial e temporal. Além disso, eles utilizaram a renderização multi-visão de modelos 3D estáticos como condição para manter sua identidade.
Para animar modelos 3D, os pesquisadores propuseram um processo eficiente em duas etapas: primeiro, a ação é reconstruída diretamente a partir do vídeo multi-visão gerado, e então a aparência e a ação são refinadas usando o 4D-SDS introduzido. Experimentos qualitativos e quantitativos mostram que o Animate3D apresenta um desempenho significativamente superior aos métodos anteriores. Mais emocionante ainda é o compromisso de liberar publicamente os dados, o código e o modelo.
O surgimento desta tecnologia não apenas traz novas possibilidades para a criação de conteúdo 3D, mas também fornece um forte suporte para aplicações em AR/VR, jogos e cinema. Imagine que, no futuro, poderemos facilmente transformar qualquer modelo 3D em uma animação vívida, o que sem dúvida impulsionará enormemente o desenvolvimento da indústria criativa.
Acesso ao produto:https://top.aibase.com/tool/animate3d
Destaques:
- 🚀 **Estrutura inovadora**: Animate3D, uma nova estrutura capaz de animar modelos 3D estáticos.
- 🎬 **Difusão de vídeo multi-visão**: Através das tecnologias MV-VDM e 4D-SDS, é possível gerar animações 3D de alta qualidade.
- 🌐 **Ampla aplicação**: A tecnologia é aplicável às indústrias de AR/VR, jogos e cinema, impulsionando o desenvolvimento de conteúdo criativo.