LatentSync est un framework de synchronisation labiale basé sur un modèle de diffusion latent conditionné à l'audio, développé par ByteDance. Il exploite directement la puissance de Stable Diffusion, sans représentation intermédiaire du mouvement, pour modéliser les corrélations complexes entre audio et vidéo. Le framework améliore efficacement la cohérence temporelle des images vidéo générées grâce à la technique d'alignement de représentation temporelle (TREPA) proposée, tout en maintenant la précision de la synchronisation labiale. Cette technologie présente une valeur applicative significative dans la production vidéo, les avatars virtuels, la création d'animations, etc., permettant d'améliorer considérablement l'efficacité de production, de réduire les coûts de main-d'œuvre et d'offrir aux utilisateurs une expérience audiovisuelle plus réaliste et naturelle. La nature open source de LatentSync permet également une utilisation répandue dans la recherche académique et les pratiques industrielles, stimulant ainsi le développement et l'innovation technologiques.