Heygem est une version open source de HeyGen, capable de cloner précisément l'apparence et la voix d'une personne, et de synchroniser les mouvements de la bouche avec la parole. Une avancée majeure dans la création de vidéos réalistes et personnalisées.

Lors du visionnage de films doublés, les spectateurs sont souvent confrontés à un problème : l'insynchronisation entre le mouvement des lèvres des personnages et la langue du doublage, ce qui nuit à l'expérience visuelle et à l'immersion dans l'histoire. Pour remédier à cela, NeuralGarage, une start-up indienne créée en 2021, s'efforce de révolutionner le secteur du doublage. Source de l'image : image générée par IA, fournisseur de services d'autorisation d'images Midjourney. NeuralGarage, basée à Bangalore en Inde, a été fondée par Anjan Banerjee et Subhashish...

Microsoft a récemment publié la version v0.4 d'AutoGen, son framework d'orchestration pour les agents IA. Cette mise à jour vise à améliorer la flexibilité et le contrôle des agents IA afin de répondre aux besoins des utilisateurs en matière d'extension des fonctionnalités et de capacités d'observation. Depuis son lancement, AutoGen a suscité un vif intérêt auprès des développeurs, mais les utilisateurs ont également rencontré des problèmes tels que des limitations d'architecture, des API peu performantes et un manque de fonctionnalités de débogage et d'intervention. Dans cette nouvelle version, Microsoft a mis l'accent sur l'amélioration de la modularité et de l'extensibilité du framework. Aut

ByteDance a récemment publié LatentSync, un nouveau framework de synchronisation labiale visant à obtenir une synchronisation plus précise des lèvres grâce à un modèle de diffusion latent conditionnel à l'audio. Ce framework, basé sur Stable Diffusion, a été optimisé pour la cohérence temporelle. Contrairement aux méthodes précédentes basées sur la diffusion dans l'espace pixel ou la génération en deux étapes, LatentSync utilise une approche de bout en bout, sans représentation intermédiaire du mouvement, permettant de modéliser directement la relation complexe entre l'audio et la vidéo. Dans LatentSync,

L'office de cybersécurité de Shanghai a publié un nouveau communiqué concernant l'enregistrement des services d'intelligence artificielle générative, visant à promouvoir l'innovation et l'utilisation réglementée de l'IA générative dans la ville. Conformément aux dispositions du « Règlement provisoire sur la gestion des services d'intelligence artificielle générative », Shanghai a procédé à l'enregistrement ordonné des services d'IA générative et a enregistré les services utilisant les capacités des modèles enregistrés via une API ou d'autres moyens. À ce jour, Shanghai a ajouté 9 nouveaux services d'IA générative enregistrés, portant le nombre total de services enregistrés à 63. Cet enregistrement...

Kuaishou Technology, basé à Beijing, a récemment annoncé que son grand modèle de génération visuelle développé en interne, Kling AI (Kling), a bénéficié d'une nouvelle mise à niveau de ses capacités. L'API Kling AI améliorée a réalisé des progrès significatifs dans les deux fonctions principales qu'sont l'essayage virtuel et la synchronisation labiale, offrant ainsi aux clients des secteurs du commerce électronique, du marketing publicitaire, du divertissement et des outils d'IA un support technique plus puissant.

AiSee Technology, société basée à Beijing, a annoncé le lancement mondial de PixVerse V3, sa dernière version du grand modèle de génération de vidéos. Cette version présente une amélioration significative des capacités du modèle sous-jacent, offrant des fonctionnalités de génération multimodales et de nombreuses fonctionnalités IA, notamment des modèles créatifs, la synchronisation labiale, la suite d'histoires et la conversion de style.

Récemment, un projet open source nommé Ultralight-Digital-Human a suscité un vif intérêt au sein de la communauté des développeurs. Ce projet a réussi à résoudre le problème du déploiement de la technologie des humains numériques sur les appareils mobiles, permettant aux smartphones classiques d'exécuter des applications d'humains numériques en temps réel, ouvrant ainsi de nouvelles perspectives pour la popularisation de ces technologies. Ce modèle d'humain numérique ultraléger utilise une technologie d'apprentissage profond innovante. Grâce à l'optimisation des algorithmes et à la compression des modèles, il a été possible de 'mincir' le vaste système d'humains numériques pour qu'il fonctionne de manière fluide sur les appareils mobiles. Le système prend en charge la fonctionnalité de…

D-ID a récemment lancé AI Video Translate, un outil innovant de traduction vidéo IA capable de traduire le contenu vidéo dans de multiples langues, de cloner la voix du narrateur et d'ajuster la synchronisation labiale pour assurer une parfaite adéquation entre la traduction et les images. Cet outil prend en charge le rendu par lots de 29 langues et possède une interface conviviale, permettant à quiconque de l'utiliser facilement. D-ID utilise cette technologie pour aider ses clients à promouvoir leurs campagnes marketing, de divertissement et de médias sociaux à l'échelle mondiale, en réduisant les coûts de localisation. Le lancement de cette technologie représente une avancée significative pour les petites entreprises.

PIKA lance la fonction de synchronisation labiale ; Alibaba lance le framework de génération vidéo EMO ; EMO peut générer des vidéos parlées de durée arbitraire ; les outils de génération vidéo IA sont constamment optimisés.

Le framework EMO d'Alibaba et le modèle vidéo texte-vidéo OpenAI Sora gagnent en popularité. EMO améliore le réalisme et la naturalité de la génération de vidéos de têtes. EMO permet de créer des avatars de personnages IA dynamiques et expressifs. La méthode EMO prend en charge la génération de chansons et d'audio vocaux dans différentes langues. EMO permet la synchronisation entre différents personnages.