AnchorCrafter
基于扩散模型的2D视频生成系统,实现人-物交互动画。
普通产品视频视频生成人-物交互
AnchorCrafter是一个创新的扩散模型系统,旨在生成包含目标人物和定制化对象的2D视频,通过人-物交互(HOI)的集成,实现高视觉保真度和可控交互。该系统通过HOI-外观感知增强从任意多视角识别对象外观的能力,并分离人和物的外观;HOI-运动注入则通过克服对象轨迹条件和相互遮挡管理的挑战,实现复杂的人-物交互。此外,HOI区域重新加权损失作为训练目标,增强了对对象细节的学习。该技术在保持对象外观和形状意识的同时,也维持了人物外观和运动的一致性,对于在线商务、广告和消费者参与等领域具有重要意义。