In letzter Zeit haben die mit Rekonstruktions- und Generierungsmethoden erstellten 3D-Assets die Qualität handgefertigter Assets erreicht und ihr Potenzial als Ersatzlösung unterstrichen. Dieses Potenzial wird jedoch noch nicht voll ausgeschöpft, da diese Assets immer noch in Mesh-Formate konvertiert werden müssen, um in 3D-Anwendungen eingesetzt zu werden. Die derzeitigen Mesh-Extraktionsmethoden erzeugen jedoch deutlich minderwertige Meshes im Vergleich zu denen, die von menschlichen Künstlern (AMs) erstellt werden. Insbesondere verlassen sich aktuelle Mesh-Extraktionsmethoden auf dichte Flächen und ignorieren geometrische Merkmale, was zu ineffizienter, komplexer Nachbearbeitung und geringerer Darstellungsqualität führt.
Um diese Probleme zu lösen, haben Forscher MeshAnything vorgestellt, ein autoregressives Modell zur Generierung von 3D-Meshes im Stil von Künstlern. MeshAnything integriert sich nahtlos mit verschiedenen bestehenden Modellen, um hochwertige, text-/bild-/formbasierte Mesh-Generierung zu ermöglichen.
Produktzugang:https://top.aibase.com/tool/meshanything
Die von MeshAnything generierten Meshes verbessern die Speicher-, Rendering- und Simulationsleistung erheblich, während gleichzeitig eine vergleichbare Genauigkeit zu früheren Methoden erreicht wird.
Die Architektur von MeshAnything umfasst ein VQ-VAE und einen form-bedingten Decoder-only-Transformer. Zuerst wird ein Mesh-Vokabular mit VQ-VAE gelernt, dann wird ein form-bedingter Decoder-only-Transformer auf diesem Vokabular trainiert, um form-bedingte autoregressive Mesh-Generierung durchzuführen. Umfangreiche Experimente zeigen, dass die erzeugten AMs um Hunderte Male weniger Flächen aufweisen als bei früheren Methoden, was die Speicher-, Rendering- und Simulationsleistung erheblich verbessert, während gleichzeitig eine mit früheren Methoden vergleichbare Genauigkeit erreicht wird.
Durch die Integration mit verschiedenen 3D-Asset-Produktionsmethoden ermöglicht MeshAnything eine hochgradig kontrollierbare Generierung von Künstler-Meshes. Darüber hinaus weist diese Methode sowohl in Bezug auf die Mesh-Topologie als auch auf die Anzahl der Flächen Vorteile gegenüber Ground-Truth-Daten auf und kann ähnliche Formen mit völlig unterschiedlichen Topologien generieren. Dies beweist, dass die Methode nicht einfach nur überangepasst ist, sondern versteht, wie man Meshes mit effizienter Topologie erstellt.
Die Kernfunktionen dieses Produkts umfassen:
Leistungsstarke Mesh-Generierung: MeshAnything nutzt die autoregressive Transformer-Technologie, um verschiedene Eingabeformen wie Bilder und Punktwolken in detaillierte Mesh-Modelle umzuwandeln, mit hervorragender Generierungsfähigkeit und Modellleistung.
Automatisierte Kunstproduktion: MeshAnything bietet Benutzern benutzerfreundliche Tools, die die Kunstproduktion automatisierter und intelligenter machen. Benutzer können sich auf kreative Ausdrucksformen konzentrieren, ohne sich zu sehr mit technischen Details befassen zu müssen.
Vielfältige Anwendungsszenarien: MeshAnything findet in verschiedenen Bereichen breite Anwendung, darunter Industriedesign, Kunstproduktion und digitale Unterhaltung, und erfüllt die kreativen Bedürfnisse verschiedener Benutzer.
Es ist zu beachten, dass MeshAnything auf einer A6000-GPU etwa 7 GB und 30 Sekunden benötigt, um ein Mesh zu generieren. Aufgrund von Einschränkungen der Rechenressourcen wurde MeshAnything nur mit Meshes mit weniger als 800 Flächen trainiert und kann keine Meshes mit mehr als 800 Flächen generieren. Die Form des Eingabe-Meshes muss ausreichend klar sein, da es sonst sehr schwierig ist, sie mit nur 800 Flächen darzustellen. Daher führen Feedforward-Bild-zu-3D-Methoden aufgrund unzureichender Formqualität häufig zu schlechten Ergebnissen.
Testzugang: https://huggingface.co/spaces/Yiwen-ntu/MeshAnything