DreamMesh4D

Nova estrutura para gerar objetos 4D de alta qualidade a partir de vídeo monocular.

Produto ComumImagemGeração 3DObjeto 4D
DreamMesh4D é uma nova estrutura que combina representação de malha com técnica de deformação de controle esparsa para gerar objetos 4D de alta qualidade a partir de vídeo monocular. A técnica aborda os desafios de consistência espaço-temporal e qualidade da textura superficial enfrentados por métodos tradicionais, combinando campos de radiação neural implícitos (NeRF) ou renderização gaussiana explícita como representação subjacente. Inspirado em fluxos de trabalho modernos de animação 3D, o DreamMesh4D vincula a renderização gaussiana à superfície de malha triangular, permitindo a otimização diferenciável de texturas e vértices da malha. O framework começa com uma malha bruta fornecida por um método de geração 3D a partir de imagem única, construindo um mapa de deformação através da amostragem uniforme de pontos esparsos para melhorar a eficiência computacional e fornecer restrições adicionais. Através de um aprendizado em duas etapas, combinando perda de fotometria de visão de referência, perda de destilação de pontuação e outras perdas de regularização, o aprendizado de gaussianas de superfície estática e vértices de malha, bem como a rede de deformação dinâmica, é realizado. O DreamMesh4D supera métodos anteriores de geração de vídeo para 4D em termos de qualidade de renderização e consistência espaço-temporal, e sua representação baseada em malha é compatível com fluxos de trabalho geométricos modernos, mostrando seu potencial para a indústria de jogos 3D e cinema.
Abrir Site

DreamMesh4D Alternativas