Récemment, un projet technologique de pointe appelé EmoTalk3D a suscité un vif intérêt dans le domaine de l'intelligence artificielle. Ce projet a permis de réaliser une percée majeure dans la synthèse d'avatars 3D expressifs et haute-fidélité grâce à l'introduction d'un ensemble de données – EmoTalk3D – comprenant des vidéos multivues calibrées, des annotations émotionnelles et des géométries 3D pour chaque image.
D'après les informations disponibles, l'équipe de recherche du projet EmoTalk3D a proposé une nouvelle méthode de synthèse pour pallier les lacunes des technologies actuelles d'avatars 3D en termes de cohérence multivue et d'expression émotionnelle. Cette méthode offre non seulement une synchronisation labiale et une qualité de rendu améliorées, mais permet également une expression émotionnelle contrôlable dans les avatars générés.
L'équipe de recherche a conçu un cadre de mappage « son vers géométrie vers apparence ». Ce cadre prédit d'abord une séquence géométrique 3D fidèle à partir des caractéristiques audio, puis synthétise l'apparence de l'avatar 3D, représentée par une gaussienne 4D, à partir de ces géométries. Dans ce processus, l'apparence est décomposée en composantes gaussiennes canoniques et dynamiques, qui sont fusionnées grâce à un apprentissage à partir de vidéos multivues, permettant ainsi le rendu d'animations d'avatars en vue libre.
Il est important de noter que l'équipe de recherche du projet EmoTalk3D a également réussi à résoudre les difficultés rencontrées par les méthodes précédentes pour capturer les détails dynamiques du visage, tels que les rides et les micro-expressions. Les résultats expérimentaux montrent que cette méthode présente des avantages significatifs dans la génération d'avatars 3D haute-fidélité et émotionnellement contrôlables, tout en affichant une meilleure qualité et stabilité du rendu de la synchronisation labiale.
Actuellement, le code et l'ensemble de données du projet EmoTalk3D sont disponibles à une URL HTTPS spécifique, pour référence et utilisation par les chercheurs et les développeurs du monde entier. Cette avancée technologique innovante apportera sans aucun doute une nouvelle dynamique au développement du domaine des avatars 3D, et devrait trouver des applications futures dans la réalité virtuelle, la réalité augmentée, la production cinématographique et bien d'autres domaines.
