Kürzlich hat Alibaba seine neueste technologische Errungenschaft, Animate Anyone2, veröffentlicht. Diese bahnbrechende Technologie ermöglicht den präzisen Austausch von Personen in Videos. Wie auf der Projektwebsite anhand von Beispielen gezeigt wird, müssen Benutzer lediglich das Originalvideo und das Bild des Zielcharakters bereitstellen. Das System ersetzt dann die Person in Echtzeit, wobei die ursprünglichen Bewegungsabläufe des Videos erhalten bleiben.
Testdaten zeigen, dass das System die Schussbewegung eines Fußballspielers vollständig auf einen Animationscharakter übertragen kann, während die realen physikalischen Eigenschaften der Ballbewegung erhalten bleiben. Für komplexe Anforderungen in der Filmherstellung unterstützt das System auch die individuelle Anpassung der Beleuchtung und die Anpassung an die Hintergrundumgebung, um eine tiefgreifende Integration von Charakter und Szene zu erreichen.
Das System verwendet eine dynamische Knochenbindungstechnologie, die durch die präzise Verfolgung von 28 wichtigen Knochenpunkten des menschlichen Körpers die Bewegungsabläufe der Gliedmaßen und die Mikroausdrücke des Gesichts genau erfassen kann. In öffentlich zugänglichen Testvideos bleiben die Bewegungen des ersetzten Charakters, egal ob es sich um die kontinuierliche Drehbewegung eines Tänzers oder die schnellen Bewegungen eines Kampfkünstlers handelt, flüssig.
Auf technischer Ebene verwendet das System eine formunabhängige Maskierungsstrategie, um die Beziehung zwischen Charakter und Umgebung effektiver zu beschreiben. Um die Interaktion zwischen Charakter und umgebenden Objekten zu verbessern, hat Animate Anyone2 einen leichtgewichtigen Objekt-Guide eingeführt. Dieser Guide extrahiert die Merkmale der mit dem Charakter interagierenden Objekte und integriert diese Merkmale durch räumliche Fusion in den Entrauschungsprozess. Dadurch wirkt die Interaktion des Charakters mit der Umgebung und den Objekten während der Bewegung flüssiger und realistischer.
Die Ergebnisse zeigen, dass Animate Anyone2 bei der Erzeugung von umgebungsanpassbaren Charakteranimationen hervorragende Leistungen erbringt. Im Vergleich zu ähnlichen Produkten auf dem Markt, wie Viggle und MIMO, zeigt Animate Anyone2 ein höheres Niveau in Bezug auf die Konsistenz des Charakters, die Detailtreue und die Authentizität der Interaktion. Dies markiert einen neuen Höhepunkt in der Entwicklung der Charakteranimation.
Mit der Einführung von Animate Anyone2 wird das Anwendungspotenzial von Charakteranimationen in verschiedenen Bereichen wie Spielen, Filmherstellung und Virtual Reality weiter erweitert. Es bietet Animationskünstlern nicht nur leistungsfähigere Werkzeuge, sondern bietet dem Publikum auch ein lebendigeres und realistischeres Seherlebnis.
Projekt:https://humanaigc.github.io/animate-anyone-2/
Wichtigste Punkte:
🌍 Animate Anyone2 ermöglicht durch die Erfassung von Umgebungsmerkmalen eine realistische Interaktion zwischen Charakter und Umgebung.
🎨 Die neue Technologie führt einen Objekt-Guide und räumliche Fusion ein, um die Interaktion zwischen Charakter und Objekten zu verbessern.
🚀 Im Vergleich zu ähnlichen Technologien zeigt Animate Anyone2 deutliche Vorteile in Bezug auf Details und Konsistenz.