JoyVASA ist eine auf Diffusionsmodellen basierende, audiogesteuerte Technik zur Animation von Porträts. Sie generiert Gesichtsdynamik und Kopfbewegungen, indem sie dynamische Gesichtsausdrücke von statischen 3D-Gesichtsdarstellungen trennt. Diese Technik verbessert nicht nur die Videoqualität und die Genauigkeit der Lippensynchronisation, sondern lässt sich auch auf die Animation von Tiergesichtern erweitern, unterstützt mehrere Sprachen und bietet Verbesserungen in Bezug auf Trainings- und Inferenzeffizienz. Zu den Hauptvorteilen von JoyVASA gehören die Generierung längerer Videos, die Generierung bewegungsabhängiger Sequenzen unabhängig von der Identität der Person und die hochwertige Animationswiedergabe.