AnimatableDreamer
Estrutura para geração e reconstrução de modelos 3D não rígidos a partir de texto
Produto ComumDesignComputação GráficaModelagem 3D
O AnimatableDreamer é uma estrutura que gera e reconstrói modelos 3D não rígidos animáveis a partir de vídeos monoculares. Ele consegue gerar objetos não rígidos de diferentes categorias, seguindo simultaneamente o movimento do objeto extraído do vídeo. A tecnologia chave é o método de destilação de pontuação canônica proposto, que simplifica a dimensão de geração de 4D para 3D, reduzindo o ruído em diferentes quadros do vídeo e, simultaneamente, realizando o processo de destilação em um único espaço canônico. Isso garante a geração consistente no tempo e a fidelidade morfológica em diferentes poses. Com a ajuda de deformações diferenciáveis, o AnimatableDreamer eleva o gerador 3D para 4D, proporcionando uma nova perspectiva para a geração e reconstrução de modelos 3D não rígidos. Além disso, combinado com o conhecimento indutivo de modelos de difusão consistentes, a destilação de pontuação canônica pode regularizar a reconstrução sob uma nova perspectiva, fortalecendo assim o processo de geração em um ciclo fechado. Vários experimentos demonstram que o método consegue gerar modelos 3D guiados por texto com alta flexibilidade a partir de vídeos monoculares, enquanto o desempenho de reconstrução supera os métodos típicos de reconstrução de objetos não rígidos.