近期,由重建和生成创建的3D 资产已经达到了手工制作资产的质量水平,凸显了它们在替代领域的潜力。然而,这一潜力并未得到充分实现,因为这些资产总是需要转换为网格以用于3D 行业应用,而当前的网格提取方法产生的网格明显劣于由人类艺术家创作的网格(AMs)。特别是,当前的网格提取方法依赖于密集的面,并忽略了几何特征,导致低效、复杂的后处理以及较低的表示质量。

为了解决这些问题,研究人员提出了 MeshAnything,这是一种用于生成艺术家创建的3D 网格的自动回归模型。MeshAnything 与各种现有模型无缝集成,以生成高质量的文本/图像/形状条件网格生成。

image.png

产品入口:https://top.aibase.com/tool/meshanything

MeshAnything 生成的网格体显著提高了存储、渲染和仿真效率,同时实现了与以前方法相当的精度。

MeshAnything 的架构包括 VQ-VAE 和一个形状条件的仅解码器变压器。首先,使用 VQ-VAE 学习网格词汇,然后在该词汇上训练形状条件的仅解码器变压器进行形状条件的自回归网格生成。大量实验证明,该方法生成的 AMs 面数比以往方法少数百倍,显著提高了存储、渲染和模拟效率,同时实现了与以往方法可比的精度。

image.png

通过与各种3D 资产生产方法集成,MeshAnything 实现了高度可控的艺术家创作网格生成。此外,与地面真实值相比,这种的方法在网格拓扑和面数方面均具有优势,并且能够以完全不同的拓扑生成相似形状的网格,证明了该方法不仅是简单地过拟合,而且理解如何使用高效的拓扑构建网格。

这款产品的核心功能包括:

强大的网格生成能力:MeshAnything 借助自回归变压器技术,能够将各种形式的输入,如图片、点云等,转化为精细的网格模型,具有出色的生成能力和模型表现。

动化艺术创作:MeshAnything 为用户提供了便捷的工具,让艺术创作变得更加自动化和智能化,让用户专注于创意表达,而不用过多关注技术细节。

多样的应用场景:MeshAnything 在各个领域都有着广泛的应用场景,包括工业设计、艺术创作、数字娱乐等多个领域,满足了不同用户的创作和需求。

需要指出的的,MeshAnything 在 A6000GPU 上生成网格大约需要7GB 和30秒。受计算资源限制,MeshAnything 仅对面数少于800的网格进行训练,无法生成面数超过800的网格。输入网格的形状必须足够清晰,否则仅用800个面来表示它将非常困难。因此,前馈图像到3D 方法通常会因形状质量不足而产生不良结果。

试玩入口:https://huggingface.co/spaces/Yiwen-ntu/MeshAnything