近日，字节跳动发布了名为 LatentSync 的新型口型同步框架，旨在利用音频条件潜在扩散模型实现更精确的口型同步。该框架基于Stable Diffusion，针对时间一致性做了优化。与以往的基于像素空间扩散或两阶段生成的方法不同，LatentSync 采用端到端的方式，无需中间运动表示，能够直接建模复杂的音频与视觉之间的关系。在 LatentSync 的框架中，首先使用 Whisper 将音频频谱图转换为音频嵌入，并通过交叉注意力层将其集成到 U-Net 模型中。框架通过将参考帧和掩码帧与噪声潜在变量进行通道级拼接

近日，阿里巴巴达摩院的研究团队发布了一项重要研究成果，名为 “SHMT:自监督层次化妆转移”，该论文已被国际顶级学术会议 NeurIPS2024接收。这项研究展示了一种新的化妆效果转移技术，利用潜在扩散模型（Latent Diffusion Models）来实现化妆图像的精准生成，为化妆应用和图像处理领域注入了新活力。简单的说，SHMT是一项妆容迁移技术，只要一个化妆的参考图，和一张目标角色照片，就可以把妆容效果迁移到该目标脸上。团队在项目中采用了开源的方式，发布了训练代码、测试代码以及预

["Stability AI 发布名为 “Stable Audio” 的 AI 音乐生成工具，可生成长达 90 秒的高质量商业音乐。","Stable Audio 采用潜在扩散技术，能够解决音乐质量和连贯性问题。","与其他音乐生成模型不同，Stable Audio 可生成长达 90 秒的音乐，音质出色。","Stability AI 与商业音乐库 AudioSparx 合作，为 Stable Audio 提供约 80 万首音乐。","用户可以选择多种订阅计划，生成商业音乐并与音乐库合作分享收益。"]