近日,极佳科技提出了一种名为 DriveDreamer4D 的全新框架,旨在利用世界模型的先验知识来提升4D 驾驶场景的重建效果。

传统的4D 场景重建方法,主要依赖于 NeRF 和3DGS 这两大流派。NeRF 就好比一个超级画家,它能用神经网络,把一堆照片渲染成一个3D 模型。而3DGS 则是用一堆三维高斯函数,来模拟场景中的各种物体。

image.png

但这两种方法都有个致命弱点:太依赖训练数据了!就好比,你只见过直线行驶的汽车,突然来个漂移过弯,你就懵逼了。所以,在面对复杂路况,比如变道、加速、减速的时候,它们就容易翻车。

为了解决这个问题,极佳科技这次祭出了一个大杀器——DriveDreamer4D。这玩意儿,简单来说,就是给4D 场景重建加了个 AI 外挂——世界模型。

image.png

世界模型,你可以理解成一个 AI 大脑,它能根据已有的数据,预测未来可能发生的情况。DriveDreamer4D 就是利用世界模型,来生成各种复杂路况下的新视角视频数据,相当于给4D 场景重建模型喂了“脑补”的训练数据,让它见多识广,不再翻车。

更牛逼的是,DriveDreamer4D 还专门设计了一个新轨迹生成模块(NTGM)。这玩意儿,能自动生成各种符合交通规则的新轨迹,比如变道、加速、减速等等,然后用世界模型生成对应视角的视频,相当于给4D 场景重建模型请了个“陪练”,让它在各种复杂路况下都能游刃有余。

实验结果也证明了 DriveDreamer4D 的实力。在处理复杂路况时,它的重建效果明显优于传统方法,生成图像的保真度更高,而且还能准确地还原车辆和车道线的位置。

总而言之,DriveDreamer4D 的出现,就像是在4D 场景重建领域扔了一颗核弹,直接炸开了技术的天花板。有了它,自动驾驶的研发和测试,将会更加高效、安全和可靠。

当然,DriveDreamer4D 目前还处于研究阶段,未来还有很多可以改进的地方。但我相信,随着技术的不断发展,它将会越来越强大,最终成为自动驾驶领域不可或缺的一部分。

论文地址:https://arxiv.org/pdf/2410.13571

项目主页:https://drivedreamer4d.github.io/

代码地址:https://github.com/GigaAI-research/DriveDreamer4D