ActAnywhere

ActAnywhere ist ein KI-Modell zur Erzeugung von videosynchronen Hintergründen, die auf das jeweilige Vordergrundobjekt abgestimmt sind.

Normales ProduktVideoVideobearbeitungVideogenerierung
ActAnywhere ist ein generatives Modell, das automatisch Videohintergründe erstellt, die mit der Bewegung und dem Aussehen des Vordergrundobjekts harmonieren. Diese Aufgabe beinhaltet die Synthese von Hintergründen, die sowohl konsistent mit der Bewegung und dem Aussehen des Vordergrundobjekts als auch mit der künstlerischen Intention des Erstellers sind. ActAnywhere nutzt die Leistungsfähigkeit großer Videodiffusionsmodelle und wurde speziell für diese Aufgabe entwickelt. ActAnywhere verwendet eine Sequenz von Vordergrund-Segmentierungen als Eingabe und ein Bild, das die gewünschte Szene beschreibt, als Bedingung. Es generiert ein kohärentes Video, das mit den bedingenden Frames übereinstimmt und gleichzeitig eine realistische Interaktion zwischen Vorder- und Hintergrund ermöglicht. Das Modell wurde auf einem umfangreichen Datensatz aus Mensch-Computer-Interaktionsvideos trainiert. Umfangreiche Evaluierungen zeigen, dass die Leistung des Modells die von Benchmarks deutlich übertrifft und auf verschiedene Verteilungen, einschließlich nicht-menschlicher Objekte, verallgemeinert werden kann.
Website öffnen

ActAnywhere Alternativen