MikuDance
基于扩散的混合运动动态角色艺术动画生成工具
普通产品图像动画角色艺术
MikuDance是一个基于扩散的动画生成管道,它结合了混合运动动态来动画化风格化的角色艺术。该技术通过混合运动建模和混合控制扩散两大关键技术,解决了高动态运动和参考引导错位在角色艺术动画中的挑战。MikuDance通过场景运动跟踪策略显式地在像素级空间中建模动态相机,实现统一的角色场景运动建模。在此基础上,混合控制扩散隐式地对不同角色的尺度和体型进行对齐,允许灵活控制局部角色运动。此外,还加入了运动自适应归一化模块,有效注入全局场景运动,为全面的角色艺术动画铺平了道路。通过广泛的实验,MikuDance在各种角色艺术和运动引导下展示了其有效性和泛化能力,始终如一地产生具有显著运动动态的高质量动画。