AnimatableDreamer

Cadre de génération et de reconstruction de modèles 3D non rigides à partir de texte

Produit OrdinaireConceptionInfographieModélisation 3D
AnimatableDreamer est un cadre permettant de générer et de reconstruire des modèles 3D non rigides et animables à partir de vidéos monoculaires. Il est capable de générer différents types d'objets non rigides tout en respectant les mouvements de l'objet extraits de la vidéo. La technologie clé repose sur une méthode de distillation de score canonique proposée, qui réduit la dimensionnalité de la génération de 4D à 3D, effectue un débruitage sur différentes images de la vidéo et réalise le processus de distillation dans un espace canonique unique. Cela garantit une génération cohérente dans le temps et un réalisme morphologique sous différentes poses. Grâce à la déformation différentiable, AnimatableDreamer élève le générateur 3D à 4D, offrant une nouvelle perspective pour la génération et la reconstruction de modèles 3D non rigides. De plus, combinée aux connaissances inductives des modèles de diffusion cohérents, la distillation de score canonique permet de régulariser la reconstruction sous un nouvel angle, renforçant ainsi le processus de génération en boucle fermée. De nombreuses expériences montrent que cette méthode permet de générer des modèles 3D textuellement guidés et hautement flexibles à partir de vidéos monoculaires, tout en surpassant les méthodes de reconstruction non rigide classiques en termes de performances de reconstruction.
Ouvrir le site Web

AnimatableDreamer Alternatives