GenXD

Ein fortschrittliches Framework zur Generierung beliebiger 3D- und 4D-Szenen

Normales ProduktBild3D-Generierung4D-Generierung
GenXD ist ein Framework, das sich auf die Generierung von 3D- und 4D-Szenen konzentriert. Es nutzt die Bewegung alltäglicher Kameras und Objekte, um die allgemeine 3D- und 4D-Generierung gemeinsam zu untersuchen. Aufgrund des Mangels an groß angelegten 4D-Daten in der Community hat GenXD zunächst einen Datenkuratierungsprozess entwickelt, der Kamerahaltung und Objektbewegungsintensität aus Videos extrahiert. Basierend auf diesem Prozess führt GenXD einen umfangreichen Datensatz realer 4D-Szenen ein: CamVid-30K. Durch die Nutzung aller 3D- und 4D-Daten kann das GenXD-Framework beliebige 3D- oder 4D-Szenen generieren. Es stellt Multi-View-Temporal-Module vor, die Kamera- und Objektbewegungen trennen und nahtlos aus 3D- und 4D-Daten lernen. Darüber hinaus verwendet GenXD maskierte latente Bedingungen, um verschiedene bedingte Ansichten zu unterstützen. GenXD kann Videos generieren, die Kamerapfaden folgen, sowie konsistente 3D-Ansichten, die zu 3D-Darstellungen hochskaliert werden können. Es wurde umfassend auf verschiedenen realen und synthetischen Datensätzen evaluiert und zeigt die Effizienz und Vielseitigkeit von GenXD im Vergleich zu früheren Methoden bei der 3D- und 4D-Generierung.
Website öffnen

GenXD Alternativen