阿里通义实验室最近开源了名为FunAudioLLM的音频生成大模型项目,旨在提升人类与大型语言模型(LLMs)间的自然语音交互体验。该项目由两个核心模型组成:SenseVoice和CosyVoice。

CosyVoice 专注于自然语音生成,具备多语言支持、音色和情感控制功能,在多语言语音生成、零样本语音生成、跨语言声音合成和指令执行方面表现出色。它通过15万小时数据训练,支持中英日粤韩五种语言,能够快速模拟音色并提供情感和韵律的细粒度控制。

SenseVoice 则致力于高精度多语言语音识别、情感辨识和音频事件检测。它经过40万小时数据训练,支持超过50种语言,识别效果优于Whisper模型,尤其在中文和粤语上提升超过50%。SenseVoice还具备情感识别和声音事件检测能力,以及快速的推理速度。

微信截图_20240708084503.png

FunAudioLLM支持多种人机交互应用场景,如多语言翻译、情绪语音对话、互动播客和有声读物等。它通过结合SenseVoice、LLMs和CosyVoice,能够实现无缝的语音到语音翻译,情感语音聊天应用程序,以及互动式播客电台。

技术原理方面,CosyVoice基于语音量化编码,支持自然流畅的语音生成,而SenseVoice提供全面的语音处理功能,包括自动语音识别、语言识别、情感识别和音频事件检测。

开源的模型和代码已在ModelScope和Huggingface上发布,同时GitHub上也提供了训练、推理和微调代码。CosyVoice和SenseVoice模型都在ModelScope上有在线体验,方便用户直接尝试这些先进的语音技术。

项目地址:https://github.com/FunAudioLLM