GAIA

Génération d'avatars conversationnels pilotés par la voix

Produit OrdinaireImageGénération d'avatarsPiloté par la voix
GAIA vise à synthétiser des vidéos conversationnelles naturelles à partir de la voix et d'une seule image portrait. Nous introduisons GAIA (Generative AI pour Avatar), qui élimine les connaissances a priori du domaine dans la génération d'avatars conversationnels. GAIA se compose de deux phases : 1) décomposition de chaque image en représentations de mouvement et d'apparence ; 2) génération d'une séquence de mouvements conditionnée par la voix et l'image portrait de référence. Nous avons rassemblé un ensemble de données d'avatars conversationnels de grande taille et de haute qualité, et entraîné le modèle à différentes échelles. Les résultats expérimentaux valident la supériorité, l'évolutivité et la flexibilité de GAIA. Les méthodes incluent les auto-encodeurs variationnels (VAE) et les modèles de diffusion. Les modèles de diffusion sont optimisés pour générer des séquences de mouvements conditionnées par des séquences vocales et des images aléatoires de séquences vidéo. GAIA peut être utilisé pour différentes applications, telles que la génération d'avatars conversationnels contrôlables et la génération d'avatars pilotée par texte.
Ouvrir le site Web

GAIA Dernière situation du trafic

Nombre total de visites mensuelles

934048

Taux de rebond

53.20%

Nombre moyen de pages par visite

2.7

Durée moyenne de la visite

00:02:01

GAIA Tendance des visites

GAIA Distribution géographique des visites

GAIA Sources de trafic

GAIA Alternatives