Récemment, des chercheurs de ByteDance et de l'Université des sciences et technologies de Shanghai ont développé une méthode nommée « HeadGAP », qui a suscité un vif intérêt. Cette méthode permet de créer rapidement un modèle 3D hautement réaliste et animatable de la tête d'une personne à partir de seulement trois photos prises sous différents angles. De plus, les expressions faciales peuvent être synchronisées avec une vidéo de référence.
L'équipe de recherche a démontré comment créer des avatars personnalisés à partir d'un minimum de données dans des scénarios réels. Dans cette étude, les chercheurs ont d'abord mené une phase d'"apprentissage a priori". Au cours de cette phase, ils ont extrait des informations a priori sur les têtes 3D à partir d'un vaste ensemble de données dynamiques multi-vues. Ces informations a priori aident le système à comprendre les différentes caractéristiques et expressions de la tête. Ensuite, lors de la phase de "création d'avatar", les chercheurs ont utilisé ces informations a priori pour une personnalisation sur mesure, générant ainsi l'avatar virtuel de la personne cible.
L'ensemble du processus utilise un réseau auto-décodant basé sur un nuage de points gaussiens, combiné à une modélisation dynamique partielle. De cette manière, le système peut rapidement capturer l'unicité de chaque individu et optimiser l'avatar de manière personnalisée. L'équipe a également utilisé des techniques telles que l'inversion et des stratégies d'ajustement fin pour rendre le processus de personnalisation de l'avatar plus efficace, réussissant ainsi à obtenir un rendu de qualité photographique et une cohérence multi-vues.
Lors des expériences, l'équipe de recherche a démontré les performances de sa méthode dans différents scénarios. Les résultats montrent que, que ce soit en environnement contrôlé ou en environnement réel, les avatars 3D générés conservent une qualité élevée et des effets d'animation stables. Cette réalisation a non seulement de vastes perspectives d'application dans les domaines des réseaux sociaux virtuels et du développement de jeux, mais offre également de nouvelles pistes et méthodes pour la création personnalisée d'avatars 3D.
Accès au produit : https://top.aibase.com/tool/headgap
Points clés :
🎨 L'équipe de recherche, grâce à la méthode « HeadGAP », crée des avatars de tête 3D réalistes à partir d'un nombre minimal de photos.
🚀 Cette méthode utilise un réseau de points gaussiens et une technique de modélisation dynamique pour personnaliser et optimiser les avatars.
🖼️ Les résultats expérimentaux montrent que les avatars générés présentent une excellente qualité de rendu et des performances d'animation, adaptés à de nombreux contextes d'application.