在创作引人入胜的视频时,除了视觉效果,音频同样扮演着重要角色。然而,寻找或制作合适的音效往往是一项耗时的工作。

在 Adobe 的年度 MAX 大会上,他们展示了一款名为 Project Super Sonic 的实验性原型,这项技术可以通过文本生成音效、识别视频中的物体,甚至利用你的声音,快速为视频项目生成背景音效和音效。

image.png

虽然通过文本提示生成音效的功能听起来很酷,但实际上,像 ElevenLabs 这样的公司已经在商业上提供了类似的服务。更有趣的是,Adobe 将这个功能更进一步,增加了两种创建音轨的方式。第一种是通过对象识别模型,用户可以在视频帧中点击任意部分,系统会为你生成相应的音效提示。这种将多个模型结合到一个工作流程中的方法十分智能。

最令人惊艳的是第三种模式,用户可以录下自己模仿的声音(与视频时间同步),然后 Project Super Sonic 会自动生成适合的音效。Adobe 的声音设计 AI 负责人 Justin Salamon 表示,团队最开始是从文本到音频的模型入手,并强调他们在所有的 Adobe 生成 AI 项目中只使用获得许可的数据。

“我们真正想要的是让用户掌控整个过程。这是一个为创作者、声音设计师以及想提升视频声音效果的用户而设计的工具。”Salamon 解释道,“因此,我们不仅仅满足于文本到音效的初始工作流程,还致力于开发一种能够提供精确控制的工具。”

在声音控制方面,这个工具实际上会分析用户声音的不同特征和声音频谱,以此来指导生成过程。Salamon 提到,虽然演示中使用的是人的声音,用户也可以用手拍或乐器来进行录制。

需要注意的是,Adobe MAX 大会上总是会展示一些所谓的 “Sneaks”,这些项目如同 Project Super Sonic 一样,都是 Adobe 正在研发的一些实验性功能。虽然许多项目最终会融入 Adobe 的创意套件,但并没有保证所有项目都能正式推出。我认为 Project Super Sonic 有望进入实际生产,因为同一个团队还参与了 Adobe Firefly 生成 AI 模型的音频部分,后者能够延长短视频的时长,包括其音频轨道。但目前,Project Super Sonic 仍然只是一项演示。

划重点:

🎤 Project Super Sonic 是一项利用 AI 技术,帮助用户快速生成视频音效的实验性原型。  

🎶 用户可通过文本、视频物体识别及模仿声音等方式生成音效,提升创作体验。  

🎥 Adobe MAX 大会上展示的 Sneaks 项目中,Project Super Sonic 有望进入未来的创意套件。