北京智源人工智能研究院（BAAI）近日宣布推出一款创新的3D生成模型See3D，该模型能够利用大规模无标注的互联网视频进行学习。这一技术突破标志着向“See Video， Get3D”的理念迈进了重要一步。See3D模型不依赖于传统的相机参数，而是采用视觉条件技术，仅通过视频中的视觉线索生成相机方向可控且几何一致的多视角图像。这种方法避免了昂贵的3D或相机标注的需求，能够高效地从互联网视频中学习3D先验。
See3D模型支持从文本、单视图和稀疏视图到3D的生成，并能够进行3D编辑与高斯渲染。该模型、代码和Demo已经开源，供更多的技术细节参考。See3D的效果展示包括解锁3D互动世界、基于稀疏图片的3D重建、开放世界3D生成和基于单视图的3D生成。这些功能使得See3D在多种3D创作应用中展现出广泛的适用性。
研究动机源于3D数据的局限性，传统的3D数据采集过程耗时且成本高昂，而视频则因其包含多视角关联性和相机运动信息，成为揭示3D结构的有力工具。See3D提出的解决方案包括数据集构建、模型训练和3D生成框架。团队自动筛选视频数据，构建了涵盖1600万视频片段、3.2亿帧图像的WebVi3D数据集。See3D模型通过向掩码视频数据添加时间依赖噪声，生成纯粹的2D视觉信号，支持可扩展的多视图扩散模型训练，实现了无需相机条件的3D生成。
See3D的优势在于数据扩展性、相机可控性和几何一致性。其训练数据源自海量互联网视频，构建的多视图数据集在规模上实现了数量级的提升。模型支持在任意复杂的相机轨迹下的场景生成，并保持前后帧视图的几何一致性。
通过扩大数据集规模，See3D为3D生成技术的发展提供了新的思路，希望这项工作能够促进3D研究社区对大规模无相机标注数据的关注，降低3D数据采集的成本，并缩小与现有闭源3D解决方案之间的差距。
项目地址: https://vision.baai.ac.cn/see3d
