在音乐和声音创作领域，技术与创意的结合总是面临诸多挑战。现有的 AI 模型往往只擅长特定的任务，缺乏广泛的适应性，这使得 AI 在音乐制作中的辅助作用受限。为了让 AI 更好地服务于音乐与音频生产，亟需一款能够灵活应对各种创作需求的通用模型。为此，NVIDIA 推出了 Fugatto，这是一款拥有25亿参数的音频生成与处理模型。Fugatto 的设计旨在通过结合文本提示与先进的音频合成能力，提供高灵活度的声音输入和创作实验空间。例如，它可以将钢琴旋律转变为人声演唱，或者让小号发出

演员工会 SAG-AFTRA 与 AI 克隆初创公司 Narrativ 签订协议，允许演员合法授权其声音用于 AI 生成的音频广告。协议确保演员有权了解并拒绝品牌提议，设定价格并进行谈判以获得合理报酬。SAG-AFTRA 的福利计划将从广告收入中分得一部分，但具体比例未公开。此协议旨在解决 AI 克隆声音在未经授权情况下广泛传播的问题，此前与 AI 行业的紧张关系在协议后有所缓和。然而，SAG-AFTRA 的电子游戏配音演员仍在罢工，争取更多 AI 保护。此次合作被视为工会在 AI 问题上取得的进展。

Stability AI近推出开源音频生成模型Stable Audio Open，能生成最长47秒，采样率44.1kHz，采用开放权重设计，允许用户查阅、修改和扩展，推动科研及开发者创新。使用Creative Commons许可音频训练确保数据合法和道德性。模型技术架构先进，支持高质量立体声生成，多样性和高保真度得到验证，与顶尖模型表现相当。这一工具对研究者、艺术家和开发者极具价值，标志着音频生成领域的重要进展。

阿里通义实验室最近开源了名为FunAudioLLM的音频生成大模型项目，旨在提升人类与大型语言模型（LLMs）间的自然语音交互体验。该项目由两个核心模型组成:SenseVoice和CosyVoice。