Meta AI近日重磅开源了名为SPIRIT LM的基础多模态语言模型，该模型能够自由混合文本和语音，为音频和文本的多模态任务打开了新的可能性。SPIRIT LM基于一个70亿参数的预训练文本语言模型，通过在文本和语音单元上进行持续训练，扩展到语音模态。它可以像文本大模型一样理解和生成文本，同时还能理解和生成语音，甚至可以把文本和语音混合在一起，创造出各种神奇的效果! 比如，你可以用它来做语音识别，把语音转换成文字;也可以用它来做语音合成，把文字转换成语音;还可以用它来做

近日，Oute AI 发布了一种新颖的文本转语音合成方法，称为 OuteTTS-0.1-350M。这种方法利用纯语言建模，无需外部适配器或复杂架构，提供了一种简化的 TTS 方法。OuteTTS-0.1-350M 基于 LLaMa 架构，使用 WavTokenizer 直接生成音频标记，使得流程更加高效。该模型具有零样本语音克隆功能，仅需几秒钟的参考音频即可复制新的声音。OuteTTS-0.1-350M 专为设备性能而设计，并与 llama.cpp 兼容，使其成为实时应用的理想选择。尽管该模型的参数规模相对较小（3.5亿个），但其性能可与更大、更复杂的 TTS 系统

在人工智能迅猛发展的今天，语音合成和转换技术日新月异，为我们带来了无比真实、自然的音频体验。然而，这些技术的进步也带来了潜在的安全隐患，特别是"语音克隆"技术可能被不法分子利用，威胁个人隐私和社会稳定。针对这一挑战，浙江大学智能系统安全实验室和清华大学携手推出了一个革命性的语音伪造检测框架——SafeEar。这个框架不仅能高效检测伪造音频，还能在检测过程中保护用户的语音隐私，实现了安全与隐私的双重保障。SafeEar的核心技术在于其采用的基于神经音频编

在科技迅猛发展的今天，语音合成技术也在进步，尤其恢复失去声音领域。最近，谷歌研究人员们提出了一种名为 “零样本语音转换（zero-shot voice transfer）” 的新技术项技术可以直接与最先进的文本语音（TTS）系统相结合，帮助那些因疾病事故失去声音的人，找回他们的 “声音记忆。这项技术的核心在于 “零样本” 能力，意味着我们不需要大量样本就能实现语音转换。也就是说，仅需几秒钟的参考音频，即可实现声音克隆，且支持合成跨语言的音频。“零样本” 克隆声音能力研究团队

在今日的2024火山引擎 AI 创新巡展上，出了视频生成模型，字节跳动还发布了豆包·音乐模型和豆包·同声传译模型，并宣布对豆包通用模型pro、文生图模型、语音合成模型等垂类模型进行了大幅升级。豆包·音乐模型的推出，标志着火山引擎在音乐创作领域的深度布局。该模型通过强大的算法支持，实现了高品质的音乐创作自由。歌词生成方面，仅需简单几个字的输入，即可快速生成情感表达精准、意境深远的歌词内容。旋律创作上，豆包·音乐模型提供了超过10种不同的音乐风格和情绪表达选项，满足了创作者多样化的需求。

Fish Speech1.4版本的发布标志着这款开源文本转语音（TTS）模型在多语言支持和性能方面取得了重大突破。作为一个致力于提供高质量、自然流畅语音合成体验的创新解决方案，Fish Speech在这次更新中展现了其强大的技术实力和广阔的应用前景。多语言支持大幅提升Fish Speech1.4最引人注目的特点是其强大的多语言支持能力:训练数据量翻倍:模型使用了70万小时的多语言数据进行训练，较之前的20万小时有了显著提升。这意味着模型能够学习到更多语言的细微差别和表达方式。语言支持扩展:现在支

阿里巴巴最新推出的CosyVoice语音合成模型和SenseVoice语音识别模型，共同构成了FunAudioLLM框架，旨在提升人机交互体验。CosyVoice以其逼真的声音生成能力，能模仿不同性别、年龄和个性的声音，添加情感和风格，甚至模拟自然特征如笑声、咳嗽和呼吸。SenseVoice则专注于高精度的多语言语音识别、情感识别和音频事件检测，支持超过50种语言，反应速度快。FunAudioLLM的语音到语音翻译功能实现了快速而准确的跨语言交流，同时，它在情感交互方面的表现也极为出色，能根据用户情绪做出恰当的回应。对于文学爱好者，FunAudioLLM的有声书制作技术能提供富有表现力的朗读体验。这些技术突破预示着人机交互的未来将更加自然、人性化，为教育、娱乐、客户服务等领域带来革命性变化。

火山引擎在成都举办了2024AI 创新巡展。火山引擎宣布其豆包大模型日均tokens使用量已超过5000亿，平均每家企业客户日均tokens使用量自5月15日模型发布以来增长了22倍。火山引擎副总裁张鑫表示，火山引擎正在向更智能化、行业化和区域化方向发展，并通过行业方案、产品和优化服务，助力企业实现业务创新。

["AI 语音合成初创公司 ElevenLabs 完成 8000 万美元 B 轮融资","融资由 Andreessen Horowitz、Nat Friedman 等领投","融资将用于产品开发、扩展基础设施和团队、AI 研究以及加强安全措施","ElevenLabs 估值超过 10 亿美元"]

["B站UP主“小虫哥_”发布原神二创视频，角色模仿芙宁娜，保留原声音，播放量超136万。","UP主使用VITS语音合成模型，上传声音文本提取语言特征，保留原神角色独特声线。","AI声音克隆技术已普及，HeyGen、AI Dubbing等工具降低了使用门槛。","AI技术升级带来创作者关注，如何在内容和形式上创作别出心裁作品成为关键。","文章探讨VITS模型原理，简要解释语音合成过程，呼吁创作者关注技术发展与作品创新。"]

["网易有道推出「易魔声」开源语音合成引擎，支持中英文双语，包含 2000 多种不同音色。","该引擎具备特色的情感合成功能，可以合成包含快乐、兴奋、悲伤、愤怒等广泛情感的语音。","用户可以在 GitHub 上免费下载使用，并通过提供的界面和脚本接口实现音色的情感合成与应用。","该项目旨在帮助开发者与内容创作者扩大高质量 TTS 的应用范围。","网易有道还推出了声音定制、声音复刻以及 Hi Echo 虚拟人口语私教等酷炫 AI 技术。"]