La création de contenu 3D est de plus en plus utilisée dans les industries de la réalité augmentée (RA), de la réalité virtuelle (RV), du jeu vidéo et du cinéma, et son importance ne cesse de croître. Avec le développement des modèles de diffusion et des ensembles de données d'objets 3D à grande échelle, la génération de modèles 3D de base a fait des progrès significatifs. Cependant, la génération de contenu 3D dynamique, c'est-à-dire la génération 4D, pose des défis plus importants. Le principal problème réside dans la manière de maintenir simultanément la cohérence spatio-temporelle de l'apparence visuelle et du mouvement dynamique.
Dans ce travail, les chercheurs présentent un nouveau framework appelé Animate3D, conçu pour animer n'importe quel modèle 3D statique. Animate3D est un framework innovant développé conjointement par l'Institut d'automatisation de l'Académie chinoise des sciences et DAMO Academy du groupe Alibaba.
L'idée centrale de ce framework repose sur deux aspects : premièrement, la proposition d'un nouveau modèle de diffusion vidéo multi-vues (MV-VDM), basé sur le rendu multi-vues d'objets 3D statiques et entraîné sur un ensemble de données vidéo multi-vues de haute qualité à grande échelle (MV-Video). Deuxièmement, basé sur le MV-VDM, l'introduction d'un framework combinant la reconstruction et l'échantillonnage de distillation de score 4D (4D-SDS), utilisant l'antériorité de diffusion vidéo multi-vues pour animer les objets 3D.
Plus précisément, le MV-VDM conçoit un nouveau module d'attention spatio-temporelle qui intègre les modèles de diffusion 3D et vidéo pour améliorer la cohérence spatiale et temporelle. De plus, ils utilisent le rendu multi-vues des modèles 3D statiques comme condition pour préserver leur identité.
Pour animer les modèles 3D, les chercheurs proposent un processus efficace en deux étapes : reconstruire d'abord le mouvement directement à partir de la vidéo multi-vues générée, puis affiner l'apparence et le mouvement grâce au 4D-SDS introduit. Des expériences qualitatives et quantitatives montrent qu'Animate3D surpasse considérablement les méthodes précédentes en termes de performances. Plus excitant encore, ils s'engagent à publier publiquement les données, le code et les modèles.
L'apparition de cette technologie ouvre de nouvelles perspectives pour la création de contenu 3D et fournit un soutien puissant aux applications dans les industries de la RA/RV, du jeu vidéo et du cinéma. Imaginez que, à l'avenir, nous pourrons facilement transformer n'importe quel modèle 3D en une animation vivante, ce qui stimulera sans aucun doute le développement des industries créatives.
Accès au produit :https://top.aibase.com/tool/animate3d
Points clés :
- 🚀 **Framework innovant :** Animate3D, un nouveau framework capable d'animer des modèles 3D statiques.
- 🎬 **Diffusion vidéo multi-vues :** Génération d'animations 3D de haute qualité grâce aux technologies MV-VDM et 4D-SDS.
- 🌐 **Applications étendues :** Technologie applicable aux industries de la RA/RV, du jeu vidéo et du cinéma, stimulant le développement de contenus créatifs.