MorphCut
Glättet Schnittübergänge, entfernt Füllwörter und liefert flüssige Videos.
Normales ProduktVideoVideobearbeitungSchnittübergang glätten
Dieses Produkt bietet einen neuartigen Rahmen zur Glättung von Schnittübergängen, insbesondere in Dialogvideos. Es nutzt das Aussehen des Hauptmotivs im Video und verschmilzt mithilfe einer mittels DensePose-Schlüsselpunkten und Gesichtsmerkmalen gesteuerten Zwischenrepräsentation Informationen aus anderen Quellframes. Um die Bewegung zu erreichen, interpoliert es Schlüsselpunkte und Merkmale zwischen den Endframes um den Schnitt herum. Anschließend werden mithilfe eines Bildübersetzungsnetzwerks Pixel aus den Schlüsselpunkten und Quellframes synthetisiert. Da Schlüsselpunkte Fehler enthalten können, wird ein cross-modaler Aufmerksamkeitsmechanismus vorgeschlagen, um für jeden Schlüsselpunkt die am besten geeignete Quelle auszuwählen und zu gewichten. Durch die Nutzung dieser Zwischenrepräsentation erzielt unsere Methode bessere Ergebnisse als starke Videointerpolations-Benchmarks. Wir demonstrieren unsere Methode an verschiedenen Schnittübergängen in Dialogvideos, wie z. B. dem Entfernen von Füllwörtern, Pausen und sogar zufälligen Schnitten. Unsere Experimente zeigen, dass wir auch in herausfordernden Situationen, wie z. B. rotierenden oder sich stark bewegenden Köpfen, nahtlose Übergänge erzielen können.