继2024年底海螺AI海外版上线AI语音克隆功能后，日前Hailuo AI又上线了新语音模型T2A-01-HD。T2A-01-HD新语音模型同样支持语音克隆，能生成情感丰富的语音。根据官方介绍，T2A-01-HD在原来的音频模型基础上，增强的音频质量，具有卓越的克隆精度不过T2A-01-HD目前尚未未开源，用户可以在网页上限时免费使用。进入Hailuo AI 音频页面后，可以看到右上角可以选择模型。想要体验新模型，只要选择“T2A-01-HD”即可使用。AIbase在体验之后，T2A-01-HD生成的音频质量会比原来的版本的确更高更清晰。感兴趣

在人工智能的快速发展中，语音合成技术正日益受到关注。近日，名为 Kokoro 的最新语音合成模型在 Hugging Face 平台上正式发布，该模型具有8200万参数，标志着语音合成领域的一个重要里程碑。Kokoro v0.19在发布之前的几周里，在 TTS（文本转语音）领域的排行榜上位列第一，其表现甚至超过了其他参数更多的模型。这一模型在单声道设置下，仅用不到100小时的音频数据，便实现了与467M 参数的 XTTS v2和1.2B 参数的 MetaVoice 等模型相媲美的效果。这一成就表明，传统语音合成模型的性能与参数、

2023年成立的 Vapi 公司近日宣布成功完成2000万美元的 A 轮融资，由 Bessemer Venture Partners 主导，此外还获得了 Abstract Ventures、AI Grant、Y Combinator、Saga Ventures 以及 Michael Ovitz 的投资。随着生成式语音模型不断接近人类交互水平，许多企业需要一个能够无缝集成这些技术的平台，以提升客户互动和服务效率。图源备注:图片由AI生成，图片授权服务商MidjourneyVapi 的愿景是 “让技术回归人类声音”，为开发者提供快速部署 AI 语音助手的工具，时间从几个月缩短到几分钟。该公司采用开发者优先的策

近日，Play AI 正式推出其最具雄心的产品 ——PlayDialog beta版本，能生成对话式的播客音频。这款端到端的 AI 语音模型，利用对话的历史上下文，能够调控语调、情感和语速，以实现更自然的语音合成，标志着人机对话的新高度。PlayDialog 特别适合于制作真实的对话体验，例如旁白、语音配音、合成播客等，也能在商业环境中提供沉浸式的一对一语音交流体验，效果类似谷歌的NotebookLM与此同时，Play AI 还推出了 PlayNote，这是一款可以将多种媒体文件（如 PDF、文本、视频等）转化为对话体验的

近日，总部位于美国加州旧金山的 AI 初创公司 smallest.ai 推出了其新产品 Lightning，一款能够在100毫秒内生成长达10秒音频的文本转语音（TTS）模型。此项技术的进步，使得全球开发者能够构建高仿真度的语音机器人应用，且延迟时间极短，降低了实施成本，提高了应用的可及性。Lightning 目前支持英语和印地语的多种口音，团队还计划迅速添加更多语言，以满足市场需求。这款模型的定价为每分钟仅需0.02美元（约1.6印度卢比），为语音机器人开发者提供了一种极具成本效益的解决方案，应用

美国电视和广播艺人联合会（SAG-AFTRA）近日与AI语音公司Ethovox签署了一项具有里程碑意义的协议，为演员声音数据的AI应用制定了明确规范。这份协议不仅为演艺界使用AI技术提供了可靠框架，更为保护演员权益树立了新标准。根据协议内容，演员将获得双重收益保障:一是声音录制的前期费用，二是AI语音模型应用产生的持续收益分成。更重要的是，任何声音数据的使用都必须获得演员本人的明确授权，且仅限于经过批准的特定用途。Ethovox在协议中作出多项承诺，其中最关键的是确保在最

据媒体报道，微软亚洲研究院前首席研究经理谭旭已于8月加入大模型创业公司月之暗面，主要负责研发端到端语音模型。谭旭加入后，其中一项重要目标是为该公司打造类似GPT-4o的语音体验。月之暗面方面暂无回应，但内部知情人士已确认谭旭已入职公司，目前尚未确定具体的职级信息。公开资料显示，谭旭研究领域为深度学习、语言/语音/音乐处理以及AI内容生成，在AI学术会议发表论文100余篇，出版学术专著《神经语音合成》。他的研究成果受到学界关注并应用于微软重要产品中，如A

最近，加州大学洛杉矶分校和亚马逊的研究人员对大型语言模型（LLMs）的推理能力进行了深入分析。他们首次系统地区分了归纳推理和演绎推理这两种能力，探讨了这两者对 AI 系统的挑战程度。图源备注：图片由AI生成，图片授权服务商Midjourney归纳推理是指从具体的观察中推导出一般性规律，而演绎推理则是将一般规则应用于特定案例。研究的目的是了解哪种推理能力对大型语言模型来说更具挑战性。为此，研究团队开发了一种新的方法，称为 “SolverLearner”。这种方法使得模型通过少量

NVIDIA 联合多所高校推出了 NVEagle，一个能看图聊天的大型视觉语言模型。NVEagle 能解析图片内容并给出准确答案，如识别图片中的人物为黄仁勋。该模型通过将图像转化为视觉标记并与文本嵌入结合，显著提升了对视觉信息的理解能力。面对高分辨率图像处理的挑战，研究团队通过探索不同的视觉编码器和融合策略，构建了包括 Eagle-X5-7B、Eagle-X5-13B 和 Eagle-X5-13B-Chat 在内的三个版本，其中 13B-Chat 特别适用于对话式 AI。NVEagle 采用混合专家机制，根据任务动态选择最佳视觉编码器，提高了对复杂视觉信息的处理能力。在多种基准测试中，NVEagle 的表现均优于其他领先模型，特别是在 OCR、视觉问答和复杂视觉信息处理任务上。

在2024年8月21日的火山引擎AI创新巡展上海站上，火山引擎展示了豆包大模型的全面升级，包括豆包·文生图模型对长文本有更精准的图文匹配能力，豆包·语音识别模型在多个公开测试集中的错误率最高降低40%，以及豆包·语音合成模型升级了流式语音合成能力，能够实时响应、精准断句。火山引擎还发布了对话式AI实时交互解决方案，整合豆包大模型和实时音视频技术，提供端到端的大模型实时对话方案，让AI交互体验更强。此外，火山引擎与多点DMALL联合成立零售大模型生态联盟，与汽车大模型生态联盟增加新成员，旨在推动零售和汽车行业的智能化升级。

阿里巴巴近期发布了全新开源语音模型Qwen2-Audio，这款模型在语音识别、翻译和音频分析方面表现出色，实现了显著性能提升。Qwen2-Audio提供基础版和指令微调版，支持多种语言，如中文、粤语、法语、英语和日语，为情感分析和翻译应用提供了便利。相较于Qwen-Audio，Qwen2-Audio在架构和性能上进行了全面优化，预训练阶段采用更自然的语言提示，提升理解和泛化能力。指令跟随能力增强，能更准确理解用户指令。模型引入语音聊天和音频分析模式，输出符合人类期望。在性能测试中，Qwen2-Audio超越OpenAI的Whisper-large-v3，在语音识别和翻译准确性上表现出强劲竞争力。

上海交通大学与字节跳动合作开发的LSLM全双工语言模型，颠覆了传统AI助手交互模式，实现边说边听的实时交互。LSLM核心优势在于其同时处理语音输入与生成输出的能力，显著提升对话自然流畅性。通过结合流式自监督学习与基于token的解码器，该模型支持实时语音交互，甚至在嘈杂环境中表现优异。LSLM的中期融合策略在语音生成与实时交互间取得最佳平衡，展现强大噪声抵抗与指令敏感性。此技术突破不仅大幅提升了用户体验，还具有广泛的应用前景，预示着人机交互新时代的来临，AI助手将与人类对话更加自然、流畅，技术与人性的融合达到新高度。

大型语言模型（LLM）在推动自然语言处理任务中发挥关键作用，然而跨模态内容生成仍面临挑战。复旦大学团队提出SpeechGPT，旨在让模型理解并生成语音与文本内容。SpeechGPT通过将语音信号离散化，使其与文本模态兼容，从而具备感知和生成语音的能力。该模型能感知和表达情感，根据上下文和指令生成多种风格的语音，得益于其庞大的语音数据集。训练策略包括模态适应预训练、跨模态指令微调和模态链指令微调，以优化跨模态转换能力。SpeechGPT展示了在文本、跨模态和口语对话任务上的强大能力，但在语音理解的噪声鲁棒性和语音生成的音质稳定性方面仍有改进空间。团队计划开源相关资源，促进技术发展。