MagicAnimate : Génération de vidéos TikTok à partir d'une seule photo

L'Université nationale de Singapour et ByteDance ont collaboré pour lancer MagicAnimate, un framework permettant de générer des vidéos de danse TikTok à partir d'une seule photo. Utilisant un modèle de diffusion vidéo avancé et un encodeur d'apparence, MagicAnimate offre une excellente fidélité, surpassant les méthodes de référence de plus de 38% sur l'ensemble de données TikTok, particulièrement exigeant. Le framework est désormais open source, avec le code d'inférence et une démo en ligne disponibles.