Récemment, la qualité des actifs 3D créés par reconstruction et génération a atteint le niveau des actifs créés manuellement, soulignant leur potentiel en matière de remplacement. Cependant, ce potentiel n'est pas pleinement exploité, car ces actifs doivent toujours être convertis en maillages pour les applications de l'industrie 3D, et les méthodes actuelles d'extraction de maillages produisent des maillages nettement inférieurs à ceux créés par des artistes humains (AMs). En particulier, les méthodes actuelles d'extraction de maillages reposent sur des faces denses et ignorent les caractéristiques géométriques, ce qui entraîne un post-traitement inefficace et complexe et une qualité de représentation inférieure.
Pour résoudre ces problèmes, les chercheurs ont proposé MeshAnything, un modèle autorégressif pour générer des maillages 3D de qualité artistique. MeshAnything s'intègre parfaitement à divers modèles existants pour générer des maillages conditionnels texte/image/forme de haute qualité.
Accès au produit :https://top.aibase.com/tool/meshanything
Les maillages générés par MeshAnything améliorent considérablement l'efficacité du stockage, du rendu et de la simulation, tout en atteignant une précision comparable aux méthodes précédentes.
L'architecture de MeshAnything comprend un VQ-VAE et un transformateur décodeur uniquement conditionnel à la forme. Tout d'abord, un vocabulaire de maillage est appris à l'aide du VQ-VAE, puis un transformateur décodeur uniquement conditionnel à la forme est entraîné sur ce vocabulaire pour la génération autorégressive de maillages conditionnels à la forme. De nombreuses expériences montrent que la méthode génère des AMs avec des centaines de fois moins de faces que les méthodes précédentes, améliorant considérablement l'efficacité du stockage, du rendu et de la simulation, tout en atteignant une précision comparable aux méthodes précédentes.
En s'intégrant à diverses méthodes de production d'actifs 3D, MeshAnything permet une génération de maillages artistiques hautement contrôlable. De plus, par rapport aux valeurs réelles, cette méthode présente des avantages en termes de topologie et de nombre de faces des maillages, et est capable de générer des maillages de formes similaires avec des topologies complètement différentes, prouvant que la méthode ne fait pas que sur-apprendre, mais comprend comment construire des maillages avec une topologie efficace.
Les fonctionnalités principales de ce produit incluent :
Une puissante capacité de génération de maillages : MeshAnything, grâce à la technologie des transformateurs autorégressifs, peut convertir diverses formes d'entrée, telles que des images et des nuages de points, en modèles de maillage fins, avec une excellente capacité de génération et des performances de modèle.
Création artistique automatisée : MeshAnything fournit aux utilisateurs des outils pratiques pour rendre la création artistique plus automatisée et intelligente, permettant aux utilisateurs de se concentrer sur l'expression créative sans avoir à se soucier des détails techniques.
Divers scénarios d'application : MeshAnything possède un large éventail d'applications dans divers domaines, notamment la conception industrielle, la création artistique et le divertissement numérique, répondant aux besoins créatifs et aux demandes de différents utilisateurs.
Il est à noter que MeshAnything prend environ 7 Go et 30 secondes pour générer un maillage sur un GPU A6000. En raison des limitations des ressources de calcul, MeshAnything n'est entraîné que sur des maillages de moins de 800 faces et ne peut pas générer de maillages de plus de 800 faces. La forme du maillage d'entrée doit être suffisamment claire, sinon il sera très difficile de la représenter avec seulement 800 faces. Par conséquent, les méthodes d'image à 3D en feed-forward produisent souvent de mauvais résultats en raison d'une qualité de forme insuffisante.
Lien d'essai : https://huggingface.co/spaces/Yiwen-ntu/MeshAnything