Recentemente, os ativos 3D criados por reconstrução e geração atingiram a qualidade dos ativos feitos à mão, destacando seu potencial para substituí-los. No entanto, esse potencial não está totalmente realizado, pois esses ativos sempre precisam ser convertidos em malhas para uso em aplicações da indústria 3D, e os métodos atuais de extração de malha produzem malhas significativamente inferiores às malhas criadas por artistas humanos (AMs). Em particular, os métodos atuais de extração de malha dependem de faces densas e ignoram as características geométricas, resultando em pós-processamento ineficiente e complexo e baixa qualidade de representação.
Para resolver esses problemas, os pesquisadores propuseram o MeshAnything, um modelo autorregressivo para gerar malhas 3D criadas por artistas. O MeshAnything integra-se perfeitamente com vários modelos existentes para gerar geração de malha condicionada a texto/imagem/forma de alta qualidade.
Acesso ao produto:https://top.aibase.com/tool/meshanything
As malhas geradas pelo MeshAnything melhoram significativamente a eficiência de armazenamento, renderização e simulação, ao mesmo tempo em que alcançam precisão comparável aos métodos anteriores.
A arquitetura do MeshAnything inclui um VQ-VAE e um transformador somente decodificador condicionado à forma. Primeiro, um vocabulário de malha é aprendido usando VQ-VAE, e então um transformador somente decodificador condicionado à forma é treinado nesse vocabulário para geração de malha autorregressiva condicionada à forma. Experimentos extensivos demonstram que o método gera AMs com centenas de vezes menos faces do que os métodos anteriores, melhorando significativamente a eficiência de armazenamento, renderização e simulação, ao mesmo tempo em que alcança precisão comparável aos métodos anteriores.
Ao integrar-se com vários métodos de produção de ativos 3D, o MeshAnything permite a geração de malhas criadas por artistas altamente controlável. Além disso, em comparação com os valores reais, este método apresenta vantagens tanto na topologia quanto no número de faces da malha e pode gerar malhas de formas semelhantes com topologias completamente diferentes, demonstrando que o método não está simplesmente sobreajustado, mas entende como construir malhas usando topologias eficientes.
Os principais recursos deste produto incluem:
Capacidade de geração de malha robusta: O MeshAnything, com a ajuda da tecnologia de transformadores autorregressivos, pode converter vários tipos de entrada, como imagens e nuvens de pontos, em modelos de malha refinados, com excelente capacidade de geração e desempenho do modelo.
Criação de arte automatizada: O MeshAnything fornece aos usuários ferramentas convenientes que tornam a criação de arte mais automatizada e inteligente, permitindo que os usuários se concentrem na expressão criativa sem se preocupar muito com os detalhes técnicos.
Diversos cenários de aplicação: O MeshAnything tem amplos cenários de aplicação em várias áreas, incluindo design industrial, criação de arte e entretenimento digital, atendendo às necessidades criativas e de diferentes usuários.
Deve-se notar que o MeshAnything leva cerca de 7 GB e 30 segundos para gerar uma malha em uma GPU A6000. Devido às limitações de recursos computacionais, o MeshAnything só é treinado em malhas com menos de 800 faces e não pode gerar malhas com mais de 800 faces. A forma da malha de entrada deve ser suficientemente clara, caso contrário, representá-la com apenas 800 faces será muito difícil. Portanto, os métodos de imagem para 3D de passagem única geralmente produzem resultados ruins devido à qualidade insuficiente da forma.
Link para teste: https://huggingface.co/spaces/Yiwen-ntu/MeshAnything