GAIA
Génération d'avatars conversationnels pilotés par la voix
Produit OrdinaireImageGénération d'avatarsPiloté par la voix
GAIA vise à synthétiser des vidéos conversationnelles naturelles à partir de la voix et d'une seule image portrait. Nous introduisons GAIA (Generative AI pour Avatar), qui élimine les connaissances a priori du domaine dans la génération d'avatars conversationnels. GAIA se compose de deux phases : 1) décomposition de chaque image en représentations de mouvement et d'apparence ; 2) génération d'une séquence de mouvements conditionnée par la voix et l'image portrait de référence. Nous avons rassemblé un ensemble de données d'avatars conversationnels de grande taille et de haute qualité, et entraîné le modèle à différentes échelles. Les résultats expérimentaux valident la supériorité, l'évolutivité et la flexibilité de GAIA. Les méthodes incluent les auto-encodeurs variationnels (VAE) et les modèles de diffusion. Les modèles de diffusion sont optimisés pour générer des séquences de mouvements conditionnées par des séquences vocales et des images aléatoires de séquences vidéo. GAIA peut être utilisé pour différentes applications, telles que la génération d'avatars conversationnels contrôlables et la génération d'avatars pilotée par texte.
GAIA Dernière situation du trafic
Nombre total de visites mensuelles
934048
Taux de rebond
53.20%
Nombre moyen de pages par visite
2.7
Durée moyenne de la visite
00:02:01