Recientemente, los activos 3D creados mediante reconstrucción y generación han alcanzado la calidad de los activos hechos a mano, destacando su potencial para reemplazarlos. Sin embargo, este potencial no se ha aprovechado plenamente, ya que estos activos siempre necesitan ser convertidos a mallas para su uso en aplicaciones de la industria 3D, y los métodos actuales de extracción de mallas producen mallas significativamente inferiores a las creadas por artistas humanos (AMs). En particular, los métodos actuales de extracción de mallas se basan en caras densas e ignoran las características geométricas, lo que resulta en un postprocesamiento ineficiente y complejo, y en una baja calidad de representación.
Para abordar estos problemas, los investigadores presentan MeshAnything, un modelo autorregresivo para generar mallas 3D de calidad artística. MeshAnything se integra a la perfección con varios modelos existentes para generar una generación de mallas condicionadas a texto/imagen/forma de alta calidad.
Acceso al producto:https://top.aibase.com/tool/meshanything
Las mallas generadas por MeshAnything mejoran significativamente la eficiencia de almacenamiento, renderizado y simulación, al tiempo que logran una precisión comparable a la de los métodos anteriores.
La arquitectura de MeshAnything incluye un VQ-VAE y un transformador de decodificador únicamente condicionado a la forma. Primero, se utiliza un VQ-VAE para aprender el vocabulario de la malla, y luego se entrena un transformador de decodificador únicamente condicionado a la forma en ese vocabulario para la generación autorregresiva de mallas condicionadas a la forma. Numerosos experimentos demuestran que el método genera AMs con cientos de veces menos caras que los métodos anteriores, mejorando significativamente la eficiencia de almacenamiento, renderizado y simulación, al tiempo que se logra una precisión comparable a la de los métodos anteriores.
Al integrarse con varios métodos de producción de activos 3D, MeshAnything logra una generación de mallas de calidad artística altamente controlable. Además, en comparación con los valores reales, este método presenta ventajas tanto en la topología de la malla como en el número de caras, y puede generar mallas de formas similares con topologías completamente diferentes, lo que demuestra que el método no solo se sobreajusta simplemente, sino que comprende cómo construir mallas utilizando una topología eficiente.
Las funciones principales de este producto incluyen:
Potente capacidad de generación de mallas: MeshAnything, con la ayuda de la tecnología de transformadores autorregresivos, puede convertir varias formas de entrada, como imágenes y nubes de puntos, en modelos de malla refinados, con una excelente capacidad de generación y rendimiento del modelo.
Creación artística automatizada: MeshAnything proporciona a los usuarios herramientas convenientes que hacen que la creación artística sea más automatizada e inteligente, permitiendo a los usuarios concentrarse en la expresión creativa sin tener que preocuparse demasiado por los detalles técnicos.
Diversas aplicaciones: MeshAnything tiene una amplia gama de aplicaciones en varios campos, incluyendo diseño industrial, creación artística y entretenimiento digital, satisfaciendo las necesidades creativas de diferentes usuarios.
Cabe señalar que MeshAnything tarda aproximadamente 7 GB y 30 segundos en generar una malla en una GPU A6000. Debido a las limitaciones de los recursos informáticos, MeshAnything solo se entrena en mallas con menos de 800 caras y no puede generar mallas con más de 800 caras. La forma de la malla de entrada debe ser lo suficientemente clara, de lo contrario, representarla con solo 800 caras será muy difícil. Por lo tanto, los métodos de imagen a 3D de avance a menudo producen malos resultados debido a la insuficiente calidad de la forma.
Enlace de prueba: https://huggingface.co/spaces/Yiwen-ntu/MeshAnything