快手近日发布了名为 CineMaster 的全新文本到视频生成框架,该框架具备3D 感知能力,被誉为视频版本的 ControlNet。据悉,CineMaster 允许用户通过多种控制信号精确控制生成视频中物体的位置和相机运动,带来前所未有的创作自由度。

CineMaster 的核心优势在于其强大的控制能力。用户不仅可以通过传统的文本提示来生成视频,还能结合以下控制信号进行精细调整:

深度图:用于控制场景的深度信息和物体的空间关系。

相机轨迹: 精确指定视频中相机的运动路径,实现各种复杂的镜头效果。

物体标签:用于标记和控制特定物体在场景中的位置和行为。

通过这些控制信号的组合,用户可以实现对生成视频内容的精准把控,创作出更具创意和个性化的作品。

此外,快手还提供了一套从大规模视频中提取3D 边界框和相机轨迹的流程,为 CineMaster 的训练和应用提供了强大的数据支持。

CineMaster 的项目页面已上线,感兴趣的用户可以访问cinemaster-dev.github.io/。