StyleTTS 2
人级别文本转语音合成模型
普通产品音乐文本转语音语音合成
StyleTTS 2 是一款文本转语音(TTS)模型,使用大型语音语言模型(SLMs)进行风格扩散和对抗训练,实现了人级别的 TTS 合成。它通过扩散模型将风格建模为潜在随机变量,以生成最适合文本的风格,而无需参考语音。此外,我们使用大型预训练的 SLMs(如 WavLM)作为判别器,并结合我们的创新可微持续时间建模进行端到端训练,从而提高了语音的自然度。StyleTTS 2 在单说话人 LJSpeech 数据集上超越了人类录音,并在多说话人 VCTK 数据集上与之匹配,得到了母语为英语的评审人员的认可。此外,当在 LibriTTS 数据集上进行训练时,我们的模型优于先前公开可用的零样本扩展模型。通过展示风格扩散和对抗训练与大型 SLMs 的潜力,这项工作在单个和多说话人数据集上实现了一个人级别的 TTS 合成。
StyleTTS 2 最新流量情况
月总访问量
515580771
跳出率
37.20%
平均页面访问数
5.8
平均访问时长
00:06:42