Kürzlich hat ein Open-Source-Projekt namens Ultralight-Digital-Human in der Entwickler-Community große Aufmerksamkeit erregt. Dieses Projekt löst erfolgreich das Problem der Bereitstellung von Digital-Human-Technologie auf Mobilgeräten und ermöglicht es, Digital-Human-Anwendungen in Echtzeit auch auf normalen Smartphones auszuführen. Dies eröffnet neue Möglichkeiten für die Verbreitung dieser Technologie.
Dieses ultraleichte Digital-Human-Modell verwendet innovative Deep-Learning-Techniken. Durch Algorithmusoptimierung und Modellkomprimierung wurde das umfangreiche Digital-Human-System so „geschrumpft“, dass es flüssig auf mobilen Geräten läuft. Das System unterstützt die Echtzeitverarbeitung von Video- und Audioeingaben und kann schnell Digital-Human-Bilder synthetisieren. Die Reaktion ist schnell und der Betrieb flüssig.
Technisch gesehen integriert das Projekt die beiden Audio-Feature-Extraktionsmethoden Wenet und Hubert. Entwickler können je nach Anwendungsfall flexibel wählen. Durch die Einführung der Syncnet-Technologie wird die Lippensynchronisation des Digital-Humans deutlich verbessert. Um einen flüssigen Betrieb auf Mobilgeräten zu gewährleisten, hat das Entwicklungsteam während des Trainings und der Bereitstellung die Technik des Parameterschnitts verwendet, wodurch der Bedarf an Rechenressourcen effektiv reduziert wird.
Ein weiteres Highlight des Projekts ist die Bereitstellung einer vollständigen Dokumentation des Trainingsprozesses. Entwickler benötigen lediglich ein 3-5-minütiges hochwertiges Gesichtsvideo, um gemäß der Anleitung mit dem Training ihres eigenen Digital-Human-Modells zu beginnen. Die Anforderungen an das Video sind klar definiert: Der Wenet-Modus benötigt eine Bildrate von 20 fps, während der Hubert-Modus 25 fps benötigt.
Um ein effektives Training zu gewährleisten, weist das Projektteam Entwickler besonders auf folgende wichtige Punkte hin: Vorzugsweise ein vortrainiertes Modell als Basis verwenden; die Qualität der Trainingsdaten sicherstellen; den Trainingsprozess regelmäßig überwachen; Trainingsparameter rechtzeitig anpassen. Diese Details beeinflussen das Endergebnis des Digital-Humans direkt.
Derzeit zeigt dieses Open-Source-Projekt in Bereichen wie sozialen Anwendungen, Mobile Games und Virtual Reality ein enormes Potenzial. Im Vergleich zu herkömmlichen Digital-Human-Technologien senkt es nicht nur die Hardware-Anforderungen, sondern ermöglicht auch plattformübergreifende Kompatibilität und einen stabilen Betrieb auf verschiedenen Smartphones.
Projekt-Adresse: https://github.com/anliyuan/Ultralight-Digital-Human