DreamMesh4D

Un nouveau framework pour générer des objets 4D de haute qualité à partir de vidéos monoculaires.

Produit OrdinaireImageGénération 3DObjet 4D
DreamMesh4D est un nouveau framework combinant une représentation maillée et une technique de déformation contrôlée parcimonieuse pour générer des objets 4D de haute qualité à partir de vidéos monoculaires. En utilisant des champs de radiance neuronaux implicites (NeRF) ou un rendu gaussien explicite comme représentation sous-jacente, cette technique surmonte les défis posés par les méthodes traditionnelles en termes de cohérence spatio-temporelle et de qualité de texture de surface. Inspiré des workflows modernes d'animation 3D, DreamMesh4D lie le rendu gaussien à la surface d'un maillage triangulaire, permettant une optimisation différentiable des textures et des sommets du maillage. Le framework commence par un maillage grossier fourni par une méthode de génération 3D à partir d'une seule image, construisant ensuite un graphe de déformation en échantillonnant uniformément des points parcimonieux pour améliorer l'efficacité du calcul et fournir des contraintes supplémentaires. Un apprentissage en deux étapes, combinant une perte photométrique de vues de référence, une perte de distillation de score et d'autres pertes de régularisation, permet l'apprentissage des gaussiennes de surface statiques et des sommets du maillage, ainsi que du réseau de déformation dynamique. DreamMesh4D surpasse les méthodes précédentes de génération vidéo vers 4D en termes de qualité de rendu et de cohérence spatio-temporelle. Sa représentation basée sur les maillages est compatible avec les workflows géométriques modernes, démontrant son potentiel dans les industries du jeu vidéo 3D et du cinéma.
Ouvrir le site Web

DreamMesh4D Alternatives