TANGO, une solution puissante comparable à HeyGen. Ce projet innovant prend en charge non seulement la synchronisation faciale et labiale, mais, plus impressionnant encore, il génère des vidéos de mouvements corporels complets parfaitement synchronisés avec l'audio.
L'avantage principal de TANGO réside dans sa logique de génération unique. Tout d'abord, le système analyse des échantillons de courtes vidéos fournies par l'utilisateur pour construire une « carte des mouvements » contenant diverses postures corporelles et transitions de mouvements.
Ensuite, il sélectionne la meilleure séquence de mouvements en fonction du contenu audio entré. Enfin, en générant des images de transition fluides, il crée une vidéo de mouvements naturelle et réaliste. Cette méthode permet à TANGO de générer une quantité illimitée de vidéos de mouvements corporels complets synchronisées avec l'audio, à partir de quelques secondes d'échantillons vidéo.
TANGO repose sur des algorithmes d'intégration du mouvement audio hiérarchique et d'interpolation de diffusion. Ces technologies de pointe permettent au système de comprendre précisément les caractéristiques vocales de l'audio et de les transformer en gestes correspondants.
Parallèlement, la technique d'interpolation de diffusion assure des transitions naturelles et fluides entre les mouvements, évitant les changements brusques et améliorant considérablement l'aspect général de la vidéo.
Pour les développeurs et les passionnés de technologie, la nature open source de TANGO est un atout majeur. Il offre un vaste espace pour l'innovation et l'amélioration. Par exemple, en combinant des projets de synchronisation labiale open source comme LivePortrait de Kuaishou, les développeurs pourraient créer un système de génération de vidéos IA plus complet et réaliste.
Les perspectives d'application de TANGO sont vastes. Pour les éducateurs, les créateurs de contenu, voire les utilisateurs ordinaires, TANGO offre une interface simple et conviviale. Les utilisateurs n'ont qu'à télécharger un fichier audio pour générer la vidéo de gestes correspondante, simplifiant ainsi considérablement le processus de création vidéo et la rendant plus facile et plus efficace.
Cependant, il est important de reconnaître que, malgré les progrès révolutionnaires de TANGO en matière de génération de mouvements corporels complets, les projets similaires à HeyGen actuellement open source présentent certaines limitations. La plupart des projets prennent principalement en charge la synchronisation faciale et labiale, tandis que la génération de mouvements corporels plus étendus reste à améliorer.
Adresse du projet : https://pantomatrix.github.io/TANGO/