Heygem est une version open source de HeyGen, capable de cloner précisément l'apparence et la voix d'une personne, et de synchroniser les mouvements de la bouche avec la parole. Une avancée majeure dans la création de vidéos réalistes et personnalisées.

ByteDance a récemment publié LatentSync, un nouveau framework de synchronisation labiale visant à obtenir une synchronisation plus précise des lèvres grâce à un modèle de diffusion latent conditionnel à l'audio. Ce framework, basé sur Stable Diffusion, a été optimisé pour la cohérence temporelle. Contrairement aux méthodes précédentes basées sur la diffusion dans l'espace pixel ou la génération en deux étapes, LatentSync utilise une approche de bout en bout, sans représentation intermédiaire du mouvement, permettant de modéliser directement la relation complexe entre l'audio et la vidéo. Dans LatentSync,

Kuaishou Technology, basé à Beijing, a récemment annoncé que son grand modèle de génération visuelle développé en interne, Kling AI (Kling), a bénéficié d'une nouvelle mise à niveau de ses capacités. L'API Kling AI améliorée a réalisé des progrès significatifs dans les deux fonctions principales qu'sont l'essayage virtuel et la synchronisation labiale, offrant ainsi aux clients des secteurs du commerce électronique, du marketing publicitaire, du divertissement et des outils d'IA un support technique plus puissant.

AiSee Technology, société basée à Beijing, a annoncé le lancement mondial de PixVerse V3, sa dernière version du grand modèle de génération de vidéos. Cette version présente une amélioration significative des capacités du modèle sous-jacent, offrant des fonctionnalités de génération multimodales et de nombreuses fonctionnalités IA, notamment des modèles créatifs, la synchronisation labiale, la suite d'histoires et la conversion de style.

D-ID a récemment lancé AI Video Translate, un outil innovant de traduction vidéo IA capable de traduire le contenu vidéo dans de multiples langues, de cloner la voix du narrateur et d'ajuster la synchronisation labiale pour assurer une parfaite adéquation entre la traduction et les images. Cet outil prend en charge le rendu par lots de 29 langues et possède une interface conviviale, permettant à quiconque de l'utiliser facilement. D-ID utilise cette technologie pour aider ses clients à promouvoir leurs campagnes marketing, de divertissement et de médias sociaux à l'échelle mondiale, en réduisant les coûts de localisation. Le lancement de cette technologie représente une avancée significative pour les petites entreprises.

PIKA lance la fonction de synchronisation labiale ; Alibaba lance le framework de génération vidéo EMO ; EMO peut générer des vidéos parlées de durée arbitraire ; les outils de génération vidéo IA sont constamment optimisés.