Make-Your-Anchor
Ein Framework zur Generierung von 2D-virtuellen Avataren basierend auf Diffusionsmodellen.
Normales ProduktVideoVideogenerierungDiffusionsmodell
Make-Your-Anchor ist ein Framework zur Generierung von 2D-virtuellen Avataren basierend auf Diffusionsmodellen. Mit nur einem etwa einminütigen Videoclip können automatisch Videos im Moderatorenstil mit präzisen Oberkörper- und Handbewegungen erstellt werden. Das System verwendet ein strukturgesteuertes Diffusionsmodell, um den 3D-Gitterzustand in das Erscheinungsbild der Figur zu rendern. Durch eine zweistufige Trainingsstrategie werden Bewegung und spezifisches Aussehen effektiv miteinander verknüpft. Um zeitlich beliebig lange Videos zu generieren, wird das 2D-U-Net des frame-weisen Diffusionsmodells auf eine 3D-Form erweitert, und es wird ein einfacher und effektiver Modul für die zeitliche Rauschunterdrückung mit Batch-Überlappung vorgeschlagen, um die Beschränkung der Videolänge bei der Inferenz zu überwinden. Schließlich wird ein Modul zur Gesichtsverbesserung basierend auf einer spezifischen Identität eingeführt, um die visuelle Qualität des Gesichtsbereichs im Ausgabevideo zu verbessern. Experimente zeigen, dass das System in Bezug auf visuelle Qualität, zeitliche Konsistenz und Identitätserhaltung die bestehenden Technologien übertrifft.
Make-Your-Anchor Neueste Verkehrssituation
Monatliche Gesamtbesuche
474564576
Absprungrate
36.20%
Durchschnittliche Seiten pro Besuch
6.1
Durchschnittliche Besuchsdauer
00:06:34