搜索全球AI产品动态

近日，生成式AI技术取得突破性进展，使虚拟化身（AI Avatars）不仅具备了栩栩如生的外表，更能自然流畅地"开口说话"。这一技术融合了尖端的语音合成与面部表情生成能力，正以惊人的速度打破数字与现实世界的边界，将AI从幕后工具推向与人类直接对话的舞台中央。这些AI虚拟化身的出现标志着生成式AI技术融合迈出了关键一步。通过将高度逼真的面部动画与自然语音合成无缝结合，这些数字角色能够精确模拟人类的细微表情、实现精准的口型同步，甚至表达情感变化，使其在视觉与听

北京——字节跳动（ByteDance）近日在人工智能开源社区Hugging Face上正式发布了其最新的文本转语音（TTS）模型MegaTTS3。这一发布迅速引起了全球AI研究者和开发者的关注，因其在轻量化设计和多语言支持方面的突破性表现。根据技术社区反馈和官方信息，MegaTTS3 被誉为语音合成领域的一次重要进步。MegaTTS3 的核心亮点MegaTTS3 是一款由字节跳动与浙江大学合作开发的开源语音合成工具，其主干模型仅包含0. 45 亿个参数，相较于传统大型TTS模型显得异常轻量。这一设计不仅降低了计算资源需求，

3月13日，Sesame公司推出其最新语音合成模型CSM，引发业界关注。据官方介绍，CSM采用端到端基于Transformer的多模态学习架构，能够理解上下文信息，生成自然且富有情感的语音，声音效果贴近真人，令人惊艳。该模型支持实时语音生成，可处理文本和音频输入，用户还能通过调整参数控制语气、语调、节奏及情感等特性，展现高度灵活性。CSM被认为是AI语音技术的重要突破。其语音自然度极高，甚至“无法分辨是人工合成还是真人”。有用户录制视频展示CSM几近无延迟的表现，称其为“体验

Sesame 公司最新推出的语音合成模型“Conversational Speech Model”（简称 CSM）近日在 X 平台上引发热议，被誉为“像真人说话一样的语音模型”。这款模型以其惊艳的自然度和情感表达能力，不仅让用户“已经无法分辨”其与人类的区别，还宣称成功跨越了语音领域的“恐怖谷效应”。随着演示视频和用户反馈的传播，CSM 正迅速成为 AI 语音技术的新标杆。跨越“恐怖谷”:CSM 的技术突破“恐怖谷效应”是指当人工合成的语音或形象接近真实人类但仍存细微差异时，会引发人类的不适感。Sesame 通

在人工智能的快速发展中，语音合成技术正日益受到关注。近日，名为 Kokoro 的最新语音合成模型在 Hugging Face 平台上正式发布，该模型具有8200万参数，标志着语音合成领域的一个重要里程碑。Kokoro v0.19在发布之前的几周里，在 TTS（文本转语音）领域的排行榜上位列第一，其表现甚至超过了其他参数更多的模型。这一模型在单声道设置下，仅用不到100小时的音频数据，便实现了与467M 参数的 XTTS v2和1.2B 参数的 MetaVoice 等模型相媲美的效果。这一成就表明，传统语音合成模型的性能与参数、

还在为复杂的开源数字人工具配置环境而头疼?AigcPanel的出现将彻底改变这一现状。这款一站式AI数字人系统，以其简单易用的特性，让所有用户都能轻松驾驭。只需一个安装包，即可解决所有问题，告别繁琐的环境配置，只需下载模型即可上手，真正实现了“开箱即用”。AigcPanel的核心功能在于其强大的视频合成、声音合成以及声音克隆能力。用户可以轻松生成带有数字人的视频，并确保人物嘴型与声音完美同步。无论是为视频配音，还是为内容创作增加个性化元素，AigcPanel都能轻松胜任

Meta AI近日重磅开源了名为SPIRIT LM的基础多模态语言模型，该模型能够自由混合文本和语音，为音频和文本的多模态任务打开了新的可能性。SPIRIT LM基于一个70亿参数的预训练文本语言模型，通过在文本和语音单元上进行持续训练，扩展到语音模态。它可以像文本大模型一样理解和生成文本，同时还能理解和生成语音，甚至可以把文本和语音混合在一起，创造出各种神奇的效果! 比如，你可以用它来做语音识别，把语音转换成文字;也可以用它来做语音合成，把文字转换成语音;还可以用它来做

近日，Oute AI 发布了一种新颖的文本转语音合成方法，称为 OuteTTS-0.1-350M。这种方法利用纯语言建模，无需外部适配器或复杂架构，提供了一种简化的 TTS 方法。OuteTTS-0.1-350M 基于 LLaMa 架构，使用 WavTokenizer 直接生成音频标记，使得流程更加高效。该模型具有零样本语音克隆功能，仅需几秒钟的参考音频即可复制新的声音。OuteTTS-0.1-350M 专为设备性能而设计，并与 llama.cpp 兼容，使其成为实时应用的理想选择。尽管该模型的参数规模相对较小（3.5亿个），但其性能可与更大、更复杂的 TTS 系统

在人工智能迅猛发展的今天，语音合成和转换技术日新月异，为我们带来了无比真实、自然的音频体验。然而，这些技术的进步也带来了潜在的安全隐患，特别是"语音克隆"技术可能被不法分子利用，威胁个人隐私和社会稳定。针对这一挑战，浙江大学智能系统安全实验室和清华大学携手推出了一个革命性的语音伪造检测框架——SafeEar。这个框架不仅能高效检测伪造音频，还能在检测过程中保护用户的语音隐私，实现了安全与隐私的双重保障。SafeEar的核心技术在于其采用的基于神经音频编

在科技迅猛发展的今天，语音合成技术也在进步，尤其恢复失去声音领域。最近，谷歌研究人员们提出了一种名为 “零样本语音转换（zero-shot voice transfer）” 的新技术项技术可以直接与最先进的文本语音（TTS）系统相结合，帮助那些因疾病事故失去声音的人，找回他们的 “声音记忆。这项技术的核心在于 “零样本” 能力，意味着我们不需要大量样本就能实现语音转换。也就是说，仅需几秒钟的参考音频，即可实现声音克隆，且支持合成跨语言的音频。“零样本” 克隆声音能力研究团队

在今日的2024火山引擎 AI 创新巡展上，出了视频生成模型，字节跳动还发布了豆包·音乐模型和豆包·同声传译模型，并宣布对豆包通用模型pro、文生图模型、语音合成模型等垂类模型进行了大幅升级。豆包·音乐模型的推出，标志着火山引擎在音乐创作领域的深度布局。该模型通过强大的算法支持，实现了高品质的音乐创作自由。歌词生成方面，仅需简单几个字的输入，即可快速生成情感表达精准、意境深远的歌词内容。旋律创作上，豆包·音乐模型提供了超过10种不同的音乐风格和情绪表达选项，满足了创作者多样化的需求。

Fish Speech1.4版本的发布标志着这款开源文本转语音（TTS）模型在多语言支持和性能方面取得了重大突破。作为一个致力于提供高质量、自然流畅语音合成体验的创新解决方案，Fish Speech在这次更新中展现了其强大的技术实力和广阔的应用前景。多语言支持大幅提升Fish Speech1.4最引人注目的特点是其强大的多语言支持能力:训练数据量翻倍:模型使用了70万小时的多语言数据进行训练，较之前的20万小时有了显著提升。这意味着模型能够学习到更多语言的细微差别和表达方式。语言支持扩展:现在支

阿里巴巴最新推出的CosyVoice语音合成模型和SenseVoice语音识别模型，共同构成了FunAudioLLM框架，旨在提升人机交互体验。CosyVoice以其逼真的声音生成能力，能模仿不同性别、年龄和个性的声音，添加情感和风格，甚至模拟自然特征如笑声、咳嗽和呼吸。SenseVoice则专注于高精度的多语言语音识别、情感识别和音频事件检测，支持超过50种语言，反应速度快。FunAudioLLM的语音到语音翻译功能实现了快速而准确的跨语言交流，同时，它在情感交互方面的表现也极为出色，能根据用户情绪做出恰当的回应。对于文学爱好者，FunAudioLLM的有声书制作技术能提供富有表现力的朗读体验。这些技术突破预示着人机交互的未来将更加自然、人性化，为教育、娱乐、客户服务等领域带来革命性变化。

火山引擎在成都举办了2024AI 创新巡展。火山引擎宣布其豆包大模型日均tokens使用量已超过5000亿，平均每家企业客户日均tokens使用量自5月15日模型发布以来增长了22倍。火山引擎副总裁张鑫表示，火山引擎正在向更智能化、行业化和区域化方向发展，并通过行业方案、产品和优化服务，助力企业实现业务创新。

["AI 语音合成初创公司 ElevenLabs 完成 8000 万美元 B 轮融资","融资由 Andreessen Horowitz、Nat Friedman 等领投","融资将用于产品开发、扩展基础设施和团队、AI 研究以及加强安全措施","ElevenLabs 估值超过 10 亿美元"]

["B站UP主“小虫哥_”发布原神二创视频，角色模仿芙宁娜，保留原声音，播放量超136万。","UP主使用VITS语音合成模型，上传声音文本提取语言特征，保留原神角色独特声线。","AI声音克隆技术已普及，HeyGen、AI Dubbing等工具降低了使用门槛。","AI技术升级带来创作者关注，如何在内容和形式上创作别出心裁作品成为关键。","文章探讨VITS模型原理，简要解释语音合成过程，呼吁创作者关注技术发展与作品创新。"]

["网易有道推出「易魔声」开源语音合成引擎，支持中英文双语，包含 2000 多种不同音色。","该引擎具备特色的情感合成功能，可以合成包含快乐、兴奋、悲伤、愤怒等广泛情感的语音。","用户可以在 GitHub 上免费下载使用，并通过提供的界面和脚本接口实现音色的情感合成与应用。","该项目旨在帮助开发者与内容创作者扩大高质量 TTS 的应用范围。","网易有道还推出了声音定制、声音复刻以及 Hi Echo 虚拟人口语私教等酷炫 AI 技术。"]