Récemment, LivePortrait, un framework de génération de vidéos de portraits humains open source développé par l'équipe Kwai Ke Ling, a suscité un vif intérêt dans le domaine de l'intelligence artificielle. Cet outil innovant permet de générer des vidéos dynamiques réalistes à partir d'une seule image statique, démontrant ainsi l'énorme potentiel de l'IA dans la génération vidéo.
Depuis sa sortie, LivePortrait a suscité un large engouement au sein de la communauté open source. En peu de temps, le projet a accumulé 7,5 000 étoiles sur GitHub, devenant l'un des projets IA les plus populaires du moment. Il a même attiré l'attention de Thomas Wolf, le directeur stratégique de Hugging Face, qui l'a testé personnellement, et il se classe en tête des tendances sur la plateforme Hugging Face.
Le principal atout de LivePortrait réside dans son incroyable capacité à « greffer » des expressions. Il permet non seulement aux personnages d'une image statique de cligner des yeux, de sourire ou de tourner la tête, mais aussi de copier précisément les expressions et les mouvements d'une personne sur une autre, sans restriction de style. Il fonctionne avec divers styles : réalisme, peinture à l'huile, sculpture et rendu 3D.
Les applications de cet outil sont extrêmement vastes. Des portraits individuels aux photos de famille, des personnes aux animaux de compagnie, LivePortrait permet d'obtenir des effets dynamiques réalistes. Plus impressionnant encore, il permet un contrôle précis des expressions dans les vidéos, comme ajuster la courbure du sourire ou la taille des yeux, offrant aux créateurs une maîtrise sans précédent des expressions.
Sur le plan technique, LivePortrait utilise un framework innovant basé sur des points clés implicites, différent des méthodes basées sur les modèles de diffusion actuellement dominantes. Grâce à un processus d'entraînement en deux phases, il améliore considérablement les capacités de généralisation, d'expression et la qualité des textures du modèle. La première phase se concentre sur l'amélioration du framework, notamment l'organisation de données de haute qualité, l'entraînement mixte et la mise à niveau de l'architecture du réseau. La seconde phase, quant à elle, améliore la précision du traitement des détails des expressions faciales grâce à l'entraînement de modules d'ajustement et de redirection.
Comparé aux méthodes existantes, LivePortrait offre une qualité de génération et une précision de pilotage supérieures, notamment pour la capture d'expressions subtiles et le maintien de la texture de l'image originale. Bien que légèrement inférieur aux méthodes basées sur les modèles de diffusion dans certains aspects, LivePortrait présente une efficacité d'inférence extrêmement élevée, atteignant une vitesse de génération de 12,8 millisecondes par image sur un GPU RTX 4090, surpassant largement les méthodes actuelles basées sur les modèles de diffusion.
L'apparition de LivePortrait met en lumière les dernières avancées de l'IA dans la génération vidéo et ouvre de nouvelles perspectives pour les industries créatives. Avec le développement continu de ces technologies, nous pouvons nous attendre à l'émergence prochaine d'applications de génération vidéo par IA encore plus étonnantes, offrant aux créateurs de contenu et aux utilisateurs ordinaires des outils de création plus riches et plus pratiques.
Adresse du projet :https://top.aibase.com/tool/liveportrait
Adresse d'essai de LivePortrait :
https://huggingface.co/spaces/KwaiVGI/LivePortrait
