Meta AI 最新推出的 SPIRIT-LM 是一款具有革命性意义的多模态基础语言模型，它能够自由混合文本和语音，并能像人类一样理解和表达情感。SPIRIT-LM 基于预训练的文本语言模型构建，通过在文本和语音单元上进行持续训练，扩展到语音模态。该模型将语音和文本序列连接成一个单一的标记集，并使用一个小型自动管理的语音-文本平行语料库，采用词级交织方法进行训练。SPIRIT-LM 有两个版本:基础版 （SPIRIT-LM-BASE） 使用语音语义单元。情感版 （SPIRIT-LM-EXPRESSIVE） 使用音调和风格单元来模拟情感