JoyHallo ist ein digitales Humanmodell, das speziell für die Generierung von Mandarin-Videos entwickelt wurde. Es wurde mit dem jdh-Hallo-Datensatz erstellt, der aus 29 Stunden Mandarin-Videos von Mitarbeitern der JD Health International Co., Ltd. besteht. Dieser Datensatz umfasst verschiedene Altersgruppen und Sprechstile, einschließlich Dialogen und medizinischen Fachthemen. Das JoyHallo-Modell verwendet das chinesische wav2vec2-Modell für die Einbettung von Audiomerkmalen und bietet eine halb entkoppelte Struktur, um die Beziehungen zwischen Lippenbewegungen, Gesichtsausdrücken und Körperhaltung zu erfassen. Dies verbessert die Effizienz der Informationsnutzung und beschleunigt die Inferenzgeschwindigkeit um 14,3 %. Darüber hinaus zeigt JoyHallo auch bei der Generierung von englischen Videos eine hervorragende Leistung und demonstriert seine außergewöhnlichen Fähigkeiten in der mehrsprachigen Generierung.