你网购衣服的时候是不是经常对着心仪的衣服犹豫不决,担心买回家不合适?别担心,现在有一项黑科技可以拯救你!Google Research 团队最新研发的 Fashion-VDM 技术,让你足不出户就能体验试穿各种漂亮衣服的快感!

Fashion-VDM 究竟是什么神奇魔法?简单来说,它是一个 视频扩散模型,只要你提供一件衣服的照片和一段你自己的视频,它就能生成一段你穿着这件衣服的视频,而且效果超级逼真!

你可能会问,市面上不是已经有虚拟试衣软件了吗?那些大多是基于图像的,只能生成静态图片,而且效果经常惨不忍睹,衣服穿在你身上就像贴纸一样,毫无真实感可言。Fashion-VDM 则完全不同,它生成的可是动态视频,不仅能展示衣服在不同角度的穿着效果,还能模拟衣服的动态变化,比如褶皱、摆动等等,简直和真人试穿一模一样!

Fashion-VDM 的秘诀在于它采用了分离式无分类器引导技术(split-CFG),这项技术可以更精确地控制人物和服装的信息,确保生成的视频既保留了你本人的特征,又完美地展现了衣服的细节。

QQ20241113-101859.jpg

为了让视频更加流畅自然,Fashion-VDM 还采用了一种渐进式时间训练策略,先用大量的图片数据训练模型,然后再逐步增加视频数据的训练时长,最终生成长达64帧的超长视频,彻底告别画面卡顿和闪烁!

更厉害的是,Fashion-VDM 还结合了图像和视频数据进行联合训练,这意味着它不仅能从图片中学习服装的细节,还能从视频中学习人物的动作和服装的动态变化,最终生成更加真实、更具说服力的试衣视频。

为了测试 Fashion-VDM 的效果,研究人员用它和市面上其他虚拟试衣和动画技术进行了比较,结果 Fashion-VDM 在图像质量、视频流畅度和服装还原度方面都取得了压倒性的胜利!

当然,Fashion-VDM 目前还有一些局限性,比如在处理遮挡的服装区域时,细节可能不够准确,人物体型也可能出现轻微变形。不过,相信随着技术的不断发展,Fashion-VDM 会越来越完美,最终彻底颠覆我们的网购体验!

以后网购再也不用担心买错衣服了,有了 Fashion-VDM ,试衣间什么的都弱爆了!

项目地址:https://johannakarras.github.io/Fashion-VDM/