日前,一款名为 Spark-TTS 的先进文本转语音系统引发了 AI 社区的广泛讨论。根据最新的 X 帖子和相关研究,这款系统以其零样本语音克隆和细粒度语音控制能力脱颖而出,展现了语音合成领域的重大突破。

QQ_1741231726997.png

这款系统充分利用了大型语言模型(LLM)的强大能力,致力于实现高度准确且自然的语音合成,适用于研究和商业领域。Spark-TTS 的设计理念强调简洁与高效。该系统完全基于 Qwen2.5构建,摒弃了以往需要额外生成模型的复杂流程。与其他模型不同,Spark-TTS 直接从 LLM 预测的代码中重建音频,这种方法极大地简化了音频生成的步骤,提高了效率,降低了技术复杂度。

除了高效的音频生成能力,Spark-TTS 还具备出色的语音克隆功能。该系统支持零镜头语音克隆,这意味着即使没有针对特定说者的训练数据,Spark-TTS 也能成功复制说话者的声音。

Spark-TTS 的核心功能包括:

零样本语音克隆:无需特定说话者的训练数据即可生成其声音风格,适合快速个性化应用。

细粒度语音控制:用户可以精确调整语速和音高,例如加快或放慢语速,改变声音高低。

跨语言生成:支持多种语言,包括英语和中文,扩展了其在全球范围内的适用性。

其语音质量被认为非常自然,特别适合用于有声读物制作,这一点在用户反馈中得到了证实。

技术架构

Spark-TTS 的技术基础是 BiCodec 单流语音编解码器。这种编解码器将语音分解为两种标记:

低比特率的语义标记,负责语言内容。

固定长度的全局标记,负责说话人属性。

这种分离方法允许灵活调整语音特性,同时结合 Qwen-2.5的思维链(Chain-of-Thought)技术,进一步提升了语音生成的质量和可控性。Qwen-2.5是一种大型语言模型(LLM),为其提供了强大的语义理解能力。

在语言支持方面,Spark-TTS 同样表现出色。它能够同时处理中文和英文,并在跨语言合成时保持高自然度和准确性。此外,用户还可以通过调整语音的性别、音调和语速等参数,创建出符合自己需求的虚拟说话人。

项目:https://github.com/SparkAudio/Spark-TTS