TANGO, eine leistungsstarke Lösung, die HeyGen ähnelt. Dieses innovative Projekt unterstützt nicht nur die Synchronisierung von Gesicht und Lippen, sondern kann erstaunlicherweise auch Ganzkörperbewegungsvideos generieren, die perfekt zum Audio passen.
Der Kernvorteil von TANGO liegt in seiner einzigartigen Generierungslogik. Zuerst analysiert das System die vom Benutzer bereitgestellten kurzen Videobeispiele und erstellt eine „Bewegungslandkarte“, die verschiedene Körperhaltungen und Bewegungsübergänge enthält.
Dann wählt es basierend auf dem eingegebenen Audioinhalt die beste Bewegungssequenz aus. Schließlich erzeugt es durch die Generierung flüssiger Übergangsframes ein natürlich wirkendes Bewegungsvideo. Diese Methode ermöglicht es TANGO, aus nur wenigen Sekunden Beispielvideo unbegrenzt viele, zum Audio passende Ganzkörperbewegungsvideos zu generieren.
Die technologische Grundlage des TANGO-Projekts basiert auf hierarchischen Audio-Bewegungs-Einbettungen und Diffusionsinterpolationsalgorithmen. Diese fortschrittlichen Technologien ermöglichen es dem System, die Sprachmerkmale im Audio genau zu verstehen und in entsprechende Gesten umzuwandeln.
Gleichzeitig sorgt die Diffusionsinterpolationstechnik für natürliche und flüssige Übergänge zwischen den Bewegungen und vermeidet abrupte Wechsel, wodurch das allgemeine Erscheinungsbild des Videos deutlich verbessert wird.
Für Entwickler und Technikbegeisterte ist der Open-Source-Charakter von TANGO zweifellos ein großer Anziehungspunkt. Es bietet viel Raum für weitere Innovationen und Verbesserungen. Durch die Kombination mit Open-Source-Projekten wie LivePortrait von Kuaishou zur Lippensynchronisation könnten Entwickler beispielsweise ein noch umfassenderes und realistischeres KI-Videosystem erstellen.
TANGO bietet vielversprechende Anwendungsmöglichkeiten. Für Pädagogen, Content-Ersteller und sogar normale Benutzer bietet TANGO eine einfache und benutzerfreundliche Oberfläche. Benutzer müssen nur eine Audiodatei hochladen, um das entsprechende Gestenvideo zu generieren. Dies vereinfacht den Videoproduktionsprozess erheblich und macht das Erstellen von Videos einfacher und effizienter.
Wir müssen jedoch auch erkennen, dass TANGO, obwohl es im Bereich der Ganzkörperbewegungsgenerierung bahnbrechende Fortschritte erzielt hat, in einigen Aspekten im Vergleich zu ähnlichen Open-Source-Projekten wie HeyGen noch Einschränkungen aufweist. Die meisten Projekte unterstützen hauptsächlich die Gesichts- und Lippensynchronisation, während die Generierung von Bewegungen des gesamten Körpers noch verbessert werden muss.
Projekt-Adresse: https://pantomatrix.github.io/TANGO/