近日，Adobe Research 与西北大学合作开发了一款名为 Sketch2Sound 的人工智能系统，这一工具有望彻底改变声音设计师的工作方式。Sketch2Sound 能够让用户通过哼唱、模仿声音以及用简单的文本描述来创建专业的音效和氛围音。这个系统分析了用户声带输入的三个关键要素:音量、音色（决定声音的明亮或阴暗）和音高。随后，它将这些特征与用户的文本描述相结合，从而生成所需的声音。例如，用户在输入 “森林氛围” 并发出短促的声响时，系统会自动将这些声响识别为鸟鸣，而无需具体的指

近日，来自伊利诺伊大学厄巴纳 - 香槟分校、Sony AI 及 Sony 集团公司的研究团队推出了一项名为 MMAudio 的新技术，该技术旨在通过多模态联合训练，实现高质量的视频到音频合成。MMAudio 的核心创新在于能够利用视频和文本输入生成同步的音频，从而拓展了音频生成的应用场景，支持输入视频或文本，生成符合视频内容的音效。MMAudio 的设计使其能够在各种视听和音频文本数据集上进行训练。这种多模态联合训练的方式，不仅提高了合成音频的质量，还确保了生成的音频与视频帧之间的同步

最近，Adobe 研究团队与密歇根大学的研究人员联合开发了一款名为 MultiFoley 的人工智能系统，这款系统能够生成电影和视频中的配音音效，助力后期制作。MultiFoley 的创新之处在于它允许用户通过文字提示、参考音频或视频示例来创造音效。在演示中，该系统甚至能将猫的叫声转化为狮子的吼叫，或将打字机的声音转换为钢琴音符，并与视频画面完美同步。MultiFoley 的音频输出质量达到48kHz 的高带宽，这主要得益于研究人员使用互联网上的视频和专业音效库进行训练。与以往的系统不同，M

在音乐和声音创作领域，技术与创意的结合总是面临诸多挑战。现有的 AI 模型往往只擅长特定的任务，缺乏广泛的适应性，这使得 AI 在音乐制作中的辅助作用受限。为了让 AI 更好地服务于音乐与音频生产，亟需一款能够灵活应对各种创作需求的通用模型。为此，NVIDIA 推出了 Fugatto，这是一款拥有25亿参数的音频生成与处理模型。Fugatto 的设计旨在通过结合文本提示与先进的音频合成能力，提供高灵活度的声音输入和创作实验空间。例如，它可以将钢琴旋律转变为人声演唱，或者让小号发出

在创作引人入胜的视频时，除了视觉效果，音频同样扮演着重要角色。然而，寻找或制作合适的音效往往是一项耗时的工作。在 Adobe 的年度 MAX 大会上，他们展示了一款名为 Project Super Sonic 的实验性原型，这项技术可以通过文本生成音效、识别视频中的物体，甚至利用你的声音，快速为视频项目生成背景音效和音效。虽然通过文本提示生成音效的功能听起来很酷，但实际上，像 ElevenLabs 这样的公司已经在商业上提供了类似的服务。更有趣的是，Adobe 将这个功能更进一步，增加了两种创建音

ElevenLabs 是一家专注于音频生成技术的公司，最近他们宣布将涉足视频生成领域。他们开源了一个项目，该项目可以自动为上传的视频配音，生成合适的音效。

["天图万境团队推出了名为Sora Opera的视频音频通用工具，实现了视频解除“静音模式”","用户可以为生成的视频添加配乐和音效，解除了视频的“静音模式”，但需要购买会员","Sora Opera计划提供文生成音效和视频配乐功能，云端版本将先提供给合作伙伴使用","创始人展示了几段Sora Opera的演示视频，支持长达60分钟的视频配音","Sora Opera还具备多项特色功能，为视频制作提供更多可能性，可能影响传统PPT演示"]