AnimatableDreamer

Framework zur Textgenerierung und Rekonstruktion animierbarer, nicht-rigider 3D-Modelle

Normales ProduktDesignComputergrafik3D-Modellierung
AnimatableDreamer ist ein Framework zur Generierung und Rekonstruktion animierbarer, nicht-rigider 3D-Modelle aus monokularen Videos. Es kann nicht-rigiide Objekte verschiedener Kategorien generieren und gleichzeitig die aus dem Video extrahierten Objektbewegungen berücksichtigen. Die Schlüsseltechnologie ist die vorgeschlagene Methode der kanonischen Score-Destillation, die die Generierungsdimension von 4D auf 3D reduziert, Rauschen in verschiedenen Frames des Videos reduziert und gleichzeitig den Destillationsprozess in einem einzigartigen kanonischen Raum durchführt. Dies gewährleistet zeitliche Konsistenz der Generierung und die Realitätsnähe der Formen in verschiedenen Posen. Mittels differenzierbarer Deformationen erweitert AnimatableDreamer den 3D-Generator auf 4D und bietet einen neuen Ansatz für die Generierung und Rekonstruktion nicht-rigider 3D-Modelle. Darüber hinaus kann die kanonische Score-Destillation in Kombination mit dem induktiven Wissen konsistenter Diffusionsmodelle die Rekonstruktion aus einer neuen Perspektive regularisieren und so den Generierungsprozess geschlossen verstärken. Umfangreiche Experimente zeigen, dass die Methode hochflexible, textgesteuerte 3D-Modelle aus monokularen Videos generieren und gleichzeitig eine bessere Rekonstruktionsleistung als herkömmliche Methoden zur Rekonstruktion nicht-rigider Körper erzielt.
Website öffnen

AnimatableDreamer Alternativen