近日，Stability AI公司宣布推出一项革命性的视频处理技术——Stable Video4D。该技术能够将单一视角的视频转换成8个不同角度的新视角视频，为创作者提供了前所未有的灵活性和创造力。
Stable Video4D建立在该公司此前推出的Stable Video Diffusion模型基础之上。与将图像转换为视频不同，新模型可以接收视频输入，并生成多个新视角的视频输出，实现了从基于图像的视频生成向全3D动态视频合成的重大飞跃。
使用时，用户只需上传一段视频并指定所需的3D摄像机位置，Stable Video4D即可生成8个新视角的视频，为用户提供全方位的多角度视角。目前，该模型可以在大约40秒内生成8个视角的5帧视频，整个4D优化过程约需20-25分钟。
与之前的方法相比，Stable Video4D能够同时生成多个新视角视频，大大提高了空间和时间轴上的一致性。这不仅确保了物体在多个视角和时间戳上的一致性，还实现了更轻量级的4D优化框架。
Stability AI表示，Stable Video4D目前处于研究阶段，未来有望在游戏开发、视频编辑和虚拟现实等领域得到广泛应用。该公司正在积极优化模型，以处理更广泛的真实世界视频。
Stable Video4D现已在Hugging Face平台上开放使用。Stability AI期待通过持续的研究和开发，进一步提升这项技术创建逼真多角度视频的潜力。该公司将继续与研究人员、专家和社区合作，推动技术创新，不断改进模型性能。
模型地址：https://huggingface.co/stabilityai/sv4d