Récemment, un projet open source nommé Ultralight-Digital-Human a suscité un vif intérêt au sein de la communauté des développeurs. Ce projet a réussi à résoudre le problème du déploiement de la technologie des avatars numériques sur les appareils mobiles, permettant aux smartphones ordinaires d'exécuter des applications d'avatars numériques en temps réel, ouvrant ainsi de nouvelles perspectives pour la popularisation de cette technologie.
Ce modèle d'avatar numérique ultraléger utilise une technologie d'apprentissage profond innovante. Grâce à l'optimisation des algorithmes et à la compression du modèle, le système volumineux des avatars numériques a été « aminci » pour fonctionner de manière fluide sur les appareils mobiles. Le système prend en charge le traitement en temps réel des entrées vidéo et audio, et peut rapidement synthétiser l'image de l'avatar numérique, avec une réactivité et une fluidité optimales.
Sur le plan technique, ce projet intègre deux solutions d'extraction de caractéristiques audio : Wenet et Hubert. Les développeurs peuvent choisir celle qui convient le mieux à leur application. De plus, l'intégration de la technologie SyncNet améliore considérablement la synchronisation labiale de l'avatar numérique. Pour garantir un fonctionnement fluide sur les appareils mobiles, l'équipe de développement a utilisé la technique de « pruning » des paramètres pendant l'entraînement et le déploiement, réduisant ainsi efficacement les besoins en ressources de calcul.
Un autre point fort du projet est la fourniture d'une documentation complète sur le processus d'entraînement. Les développeurs n'ont besoin que de 3 à 5 minutes de vidéo faciale de haute qualité pour commencer à entraîner leur propre modèle d'avatar numérique en suivant les instructions. Le système précise également les exigences vidéo : 20 ips pour le mode Wenet et 25 ips pour le mode Hubert.
Pour garantir l'efficacité de l'entraînement, l'équipe du projet recommande aux développeurs de prêter attention aux points clés suivants : privilégier un modèle pré-entraîné comme base ; garantir la qualité des données d'entraînement ; surveiller régulièrement le processus d'entraînement ; ajuster les paramètres d'entraînement en temps opportun. Ces détails auront un impact direct sur le résultat final de l'avatar numérique.
Actuellement, ce projet open source présente un potentiel énorme dans les applications sociales, les jeux mobiles et la réalité virtuelle. Comparé aux technologies d'avatars numériques traditionnelles, il réduit non seulement le seuil matériel, mais assure également une compatibilité multiplateforme, permettant un fonctionnement stable sur tous les types de smartphones.
Adresse du projet : https://github.com/anliyuan/Ultralight-Digital-Human