ElevenLabs 是一家专注于 AI 语音克隆和文本转语音 API 的初创公司，近日宣布推出用户可以构建完整对话式AI智能体的新功能。用户现在可以在 ElevenLabs 的开发者平台上，依据自己的需求，定制对话智能体的多种变量，比如语音语调和回复长度。ElevenLabs 过去主要提供不同的语音和文本转语音服务。公司增长主管 Sam Sklar 在接受 TechCrunch 采访时表示，许多客户早已在使用该平台创建对话式AI智能体。但在集成知识库和处理客户中断方面是最大的挑战。因此，ElevenLabs 决定构建一个完整的对话机器

近日，Oute AI 发布了一种新颖的文本转语音合成方法，称为 OuteTTS-0.1-350M。这种方法利用纯语言建模，无需外部适配器或复杂架构，提供了一种简化的 TTS 方法。OuteTTS-0.1-350M 基于 LLaMa 架构，使用 WavTokenizer 直接生成音频标记，使得流程更加高效。该模型具有零样本语音克隆功能，仅需几秒钟的参考音频即可复制新的声音。OuteTTS-0.1-350M 专为设备性能而设计，并与 llama.cpp 兼容，使其成为实时应用的理想选择。尽管该模型的参数规模相对较小（3.5亿个），但其性能可与更大、更复杂的 TTS 系统

最近，备受欢迎的 AI 角色制作工具 Hedra 宣布了一项激动人心的新功能 —— 语音克隆!现在，用户只需录制一小段自己的声音，就能在平台上克隆、存储并应用到你创建或上传的任何角色上。不过，这个新工具仅对付费用户开放，最低订阅费用为每月10美元。Hedra 的操作简单易懂，这也是它的一大亮点。在与 Runway 和 Kling 的对比中，Hedra 在对口型方面表现优异，产生的嘴部动作也相当准确。想要体验Hedra 功能，首先，你需要注册并登录，进入创建页面。在这里，你会看到三个主要面板。第一

在人工智能迅猛发展的今天，语音合成和转换技术日新月异，为我们带来了无比真实、自然的音频体验。然而，这些技术的进步也带来了潜在的安全隐患，特别是"语音克隆"技术可能被不法分子利用，威胁个人隐私和社会稳定。针对这一挑战，浙江大学智能系统安全实验室和清华大学携手推出了一个革命性的语音伪造检测框架——SafeEar。这个框架不仅能高效检测伪造音频，还能在检测过程中保护用户的语音隐私，实现了安全与隐私的双重保障。SafeEar的核心技术在于其采用的基于神经音频编

在科技迅猛发展的今天，语音合成技术也在进步，尤其恢复失去声音领域。最近，谷歌研究人员们提出了一种名为 “零样本语音转换（zero-shot voice transfer）” 的新技术项技术可以直接与最先进的文本语音（TTS）系统相结合，帮助那些因疾病事故失去声音的人，找回他们的 “声音记忆。这项技术的核心在于 “零样本” 能力，意味着我们不需要大量样本就能实现语音转换。也就是说，仅需几秒钟的参考音频，即可实现声音克隆，且支持合成跨语言的音频。“零样本” 克隆声音能力研究团队

亚马逊启动AI克隆解说员项目，旨在加速有声书制作。该项目通过邀请解说员提交录音训练AI，实现AI“语音克隆”。解说员可自主选择参与项目，包括现场表演或AI生成录音。使用AI克隆的有声书将在产品详情页标记，并通过版税分享模式支付解说员报酬，AI克隆使用需解说员同意。此功能在美国进行Beta测试后将扩展至权利持有人，旨在为解说员提供更多创作机会，推动有声书市场发展。

D-ID最近发布了AI Video Translate，一款创新的AI视频翻译工具，能够将视频内容翻译成多种语言，并克隆讲述者的声音，调整口型以确保翻译内容与画面完美契合。该工具支持29种语言的批量渲染，具备用户友好的界面，使得任何人都能轻松使用。D-ID通过这一技术，帮助客户在全球范围内推广营销、娱乐和社交媒体活动，节省了本地化成本。这项技术的推出对小型创作者特别有帮助，让他们能够接触到更广泛的观众群体。AI技术在翻译和声音克隆方面不断进步，为视频内容的全球化推广提供了新途径。D-ID的AI Video Translate工具将通过其平台D-ID Studio及API提供，且为订阅用户提供免费试用。对于使用该工具时，视频长度应在10秒至5分钟之间，文件大小不超过2GB，并要求视频中只包含一位面向镜头、面部始终可见的讲述者，以确保最佳效果。

演员工会 SAG-AFTRA 与 AI 克隆初创公司 Narrativ 签订协议，允许演员合法授权其声音用于 AI 生成的音频广告。协议确保演员有权了解并拒绝品牌提议，设定价格并进行谈判以获得合理报酬。SAG-AFTRA 的福利计划将从广告收入中分得一部分，但具体比例未公开。此协议旨在解决 AI 克隆声音在未经授权情况下广泛传播的问题，此前与 AI 行业的紧张关系在协议后有所缓和。然而，SAG-AFTRA 的电子游戏配音演员仍在罢工，争取更多 AI 保护。此次合作被视为工会在 AI 问题上取得的进展。

微软近期发布了一款零样本文本到语音（TTS）模型VALLE-2，该成果在技术界引发热议，被认为是TTS领域的里程碑。VALLE-2的创新之处在于其零样本学习能力，仅需一小段陌生语音样本，便能模仿声音说任意文本，实现了惊人的即时模仿和编码器分组。它还改进了重复感知采样，提高解码稳定性，并简化了数据需求。在主观评分和客观指标的测试中，VALLE-2超越了前代模型VALLE，几乎达到人类语音水平。然而，强大的语音模仿能力也引发了对Deepfake技术滥用的担忧，特别是关于伦理考量和潜在风险，如模型对非英美口音处理能力及计算效率的改进空间。当前，微软仅将其作为研究项目，并强调了合成语音检测和授权机制的重要性。未来在语音助手、内容创作等领域的应用值得期待，同时需要关注技术的伦理使用与风险防控。更多关于VALLE-2的信息可访问项目页面：Microsoft官网。

["IBM研究人员发现了一种相对简单的方法，可以利用生成式AI工具劫持语音通话。这一发现引发了对金融机构等依赖电话验证身份的组织的担忧。这将使聊天机器人困扰，因为它们仍然","对金融机构等使用电话验证身份的组织而言，使用低成本AI工具，骗子能够轻松冒充他人的声音，窃取资金和其他敏感信息。","音频劫持是一种新的威胁，威胁行为者可在进行中的对话中使用语音克隆操纵大型语言模型。","IBM研究人员称该威胁为“音频劫持”，威胁行为者可以使用语音克隆在进行中的对话中操纵大型语言模型。"]

["MIT、清华大学与加拿大AI初创公司MyShell合作开发的开源语音克隆工具OpenVoice引起关注。","OpenVoice采用简单高效的方法，几乎即时克隆用户语音，大幅减少计算资源消耗。","功能强大，提供细致控制选项，包括语调、情感、节奏、停顿等，生成个性化风格的语音克隆。","MyShell商业模式计划通过Web应用提供月度订阅、第三方机器人创建者推广费用以及人工智能培训数据费用等多方面赚取收入。","OpenVoice的两大AI模型包括文本到语音（TTS）模型和“音调转换器”模型，通过训练实现语音克隆。"]

["微软最新技术Personal Voice，一分钟生成与用户声音完全一致的AI语音。","支持100种语言输出，涵盖中文、西班牙语、德语等。","广泛应用于语音助手、游戏、娱乐和媒体领域。","与海尔合作将个性化声音引入智能音箱和家电产品。","上线前承诺责任使用，提供有限注册，加入水印保障合规性和透明性。"]

["美国唱片业协会（RIAA）要求政府将AI语音克隆列入盗版监管名单，担忧版权侵犯问题。","Voicify.AI等网站被指责鼓励未经授权使用名人声音进行克隆，侵犯版权和公众形象权。","AI语音克隆在过去一年引起广泛关注，引发了有关版权地位的争议。","虽然AI侵犯公众形象权引发担忧，但法律处理仍存在不确定性。"]

["美国唱片业协会要求将AI语音克隆网站列入政府盗版监管黑名单","唱片业协会点名AI语音克隆网站Voicify.AI侵犯艺术家公开权","RIAA呼吁监管AI语音克隆网站以遏制未经授权衍生作品激增"]

["Aug X 发布 Augie，一款基于人工智能的视频制作平台，通过克隆你自己的声音来朗读广告文案，无需预订录音棚。","Augie 平台主要面向营销人员和社交媒体团队，用户可以快速为视频添加旁白、照片、文本和音乐，无需学习音频和视频编辑。","该平台还提供库中的照片和使用 AI 生成的图像供用户选择，同时克隆的声音可以根据视频的情感进行调整。"]