GenXD
Cadre avancé permettant de générer des scènes 3D et 4D.
Produit OrdinaireImageGénération 3DGénération 4D
GenXD est un cadre axé sur la génération de scènes 3D et 4D. Il exploite les mouvements de caméras et d'objets courants dans la vie quotidienne pour étudier conjointement la génération 3D et 4D générale. Face au manque de données 4D à grande échelle au sein de la communauté, GenXD propose d'abord un processus de curation de données pour extraire la pose de la caméra et l'intensité du mouvement des objets à partir de vidéos. Sur la base de ce processus, GenXD introduit un ensemble de données de scènes 4D du monde réel à grande échelle : CamVid-30K. En exploitant toutes les données 3D et 4D, le cadre GenXD permet de générer n'importe quelle scène 3D ou 4D. Il propose des modules multi-vues-temporels qui dissocient les mouvements de la caméra et des objets, apprenant de manière transparente à partir des données 3D et 4D. De plus, GenXD utilise des conditions latentes masquées pour prendre en charge plusieurs vues conditionnelles. GenXD est capable de générer des vidéos suivant la trajectoire de la caméra ainsi que des vues 3D cohérentes pouvant être élevées en représentation 3D. Il a fait l'objet d'une évaluation approfondie sur divers ensembles de données réelles et synthétiques, démontrant l'efficacité et la polyvalence de GenXD par rapport aux méthodes précédentes en matière de génération 3D et 4D.