3月13日，Sesame公司推出其最新语音合成模型CSM，引发业界关注。据官方介绍，CSM采用端到端基于Transformer的多模态学习架构，能够理解上下文信息，生成自然且富有情感的语音，声音效果贴近真人，令人惊艳。该模型支持实时语音生成，可处理文本和音频输入，用户还能通过调整参数控制语气、语调、节奏及情感等特性，展现高度灵活性。CSM被认为是AI语音技术的重要突破。其语音自然度极高，甚至“无法分辨是人工合成还是真人”。有用户录制视频展示CSM几近无延迟的表现，称其为“体验

在今日的2024火山引擎 AI 创新巡展上，出了视频生成模型，字节跳动还发布了豆包·音乐模型和豆包·同声传译模型，并宣布对豆包通用模型pro、文生图模型、语音合成模型等垂类模型进行了大幅升级。豆包·音乐模型的推出，标志着火山引擎在音乐创作领域的深度布局。该模型通过强大的算法支持，实现了高品质的音乐创作自由。歌词生成方面，仅需简单几个字的输入，即可快速生成情感表达精准、意境深远的歌词内容。旋律创作上，豆包·音乐模型提供了超过10种不同的音乐风格和情绪表达选项，满足了创作者多样化的需求。

["B站UP主“小虫哥_”发布原神二创视频，角色模仿芙宁娜，保留原声音，播放量超136万。","UP主使用VITS语音合成模型，上传声音文本提取语言特征，保留原神角色独特声线。","AI声音克隆技术已普及，HeyGen、AI Dubbing等工具降低了使用门槛。","AI技术升级带来创作者关注，如何在内容和形式上创作别出心裁作品成为关键。","文章探讨VITS模型原理，简要解释语音合成过程，呼吁创作者关注技术发展与作品创新。"]