zh
红薯智语
每月不到10元,就可以无限制地访问最好的AIbase。立即成为会员
首页
AI资讯
AI日报
变现指南
AI教程
AI工具导航
AI产品库
zh
红薯智语
搜索全球AI产品动态
搜索全球AI信息,发现AI新机遇
新闻资讯
产品应用
变现案例
AI教程
类型 :
新闻资讯
产品应用
变现案例
AI教程
2024-08-06 09:10:07
.
AIbase
.
10.8k
ControlMM:文字、语音、音乐多模态输入生成全身动作
ControlMM是香港中文大学与腾讯联合开发的创新技术框架,旨在解决多模态全身动作生成中的难题。该框架支持文本、语音、音乐等多模态输入,生成与内容匹配的全身动作,通过ControlMM-Attn模块并行处理动态与静态人体拓扑,实现高效运动知识学习。采用分阶段训练策略,从文本到运动预训练到多模态控制适应,确保模型在不同条件下的有效性。ControlMM-Bench基准引入,提供统一格式的多模态全身动作生成评估,推动了领域发展。实验结果表明,ControlMM在可控性、顺序性和运动合理性方面显著优于基线模型,展现了在文本、语音和音乐控制下的出色性能。