最近，来自北京大学和鹏城实验室的研究团队推出了一款名为 HoloDreamer 的新型3D 场景生成框架，旨在通过用户的文本描述生成身临其境、完整的3D 场景。
这一框架包含两个核心模块:首先是 “风格化的等距全景生成”，能够根据用户的提示生成高质量的全景图;其次是 “增强型两阶段全景重建”，通过3D 高斯喷涂技术快速重建全景，确保生成的场景视角一致。
项目入口：https://top.aibase.com/tool/holodreamer
在当前的虚拟现实、游戏和影视行业中，3D 场景生成的需求越来越旺盛。借助强大的文本到图像扩散模型，利用简单的文字描述生成3D 场景已成为可能。这一突破性进展将推动文本驱动的3D 场景生成研究。
以往的方法往往采用扩展图像的方式生成场景，这种方法容易导致场景的一致性和完整性不足。HoloDreamer 则通过生成高清全景图作为整个3D 场景的基础初始化，随后利用3D 高斯喷涂技术快速重建3D 场景，从而生成视角一致、完整的3D 场景。
具体来说，该框架的 “风格化的等距全景生成” 模块结合多种扩散模型，可以根据复杂的文本提示生成具有风格化和细节化的全景图。同时，该框架还采用了循环混合技术，避免了在全景旋转时出现的裂缝。接着，团队推出的 “增强型两阶段全景重建” 模块则进行深度估计，并将 RGBD 数据投影，以获取点云信息。
通过在不同场景下准备两种类型的摄像机，研究团队能够在3D 高斯喷涂优化的不同阶段进行图像集的监督，从而优化最终重建的场景。
经过全面实验，HoloDreamer 在视觉一致性、和谐性以及重建质量和渲染鲁棒性方面均超越了以往的研究成果。这一创新性的框架有望在未来的各类应用中发挥重要作用，带来更加丰富的3D 场景体验。
划重点:
🌟 HoloDreamer 是一个新型的3D 场景生成框架，通过文本描述生成完整的3D 场景。
🖼️ 框架包括两个模块:风格化全景生成和增强型全景重建，确保生成结果的高质量和一致性。
🚀 HoloDreamer 在实验中表现优异，超越了之前的3D 生成方法，为虚拟现实和游戏等领域提供了新的解决方案。