AnimatableDreamer
Marco para la generación y reconstrucción de modelos 3D no rígidos animables a partir de texto.
Producto ComúnDiseñoGráficos por computadoraModelado 3D
AnimatableDreamer es un marco que genera y reconstruye modelos 3D no rígidos animables a partir de vídeo monocular. Es capaz de generar objetos no rígidos de diferentes categorías, siguiendo al mismo tiempo el movimiento del objeto extraído del vídeo. La tecnología clave es el método de destilación de puntuaciones canónicas propuesto, que simplifica la dimensión de generación de 4D a 3D, reduce el ruido en diferentes fotogramas del vídeo y, simultáneamente, lleva a cabo el proceso de destilación en un único espacio canónico. Esto garantiza la generación consistente en el tiempo y la fidelidad morfológica en diferentes poses. Gracias a la deformación diferenciable, AnimatableDreamer eleva el generador 3D a 4D, ofreciendo una nueva perspectiva para la generación y reconstrucción de modelos 3D no rígidos. Además, combinando el conocimiento inductivo de los modelos de difusión consistentes, la destilación de puntuaciones canónicas puede regularizar la reconstrucción desde una nueva perspectiva, reforzando así el proceso de generación en un bucle cerrado. Numerosos experimentos demuestran que este método puede generar modelos 3D textualmente guiados y altamente flexibles a partir de vídeo monocular, superando al mismo tiempo el rendimiento de los métodos típicos de reconstrucción de cuerpos no rígidos.