MorphCut

Supprime les sauts de coupe et les mots de remplissage pour des vidéos fluides.

Produit OrdinaireVidéoTraitement vidéoLissage des sauts de coupe
Ce produit propose un nouveau cadre pour le lissage des sauts de coupe, particulièrement dans les vidéos de conversations. Il exploite l'apparence du sujet dans la vidéo pour fusionner des informations d'autres images sources via une représentation intermédiaire pilotée par les points clés DensePose et les repères faciaux. Pour réaliser le mouvement, il interpole les points clés et les repères entre les images extrêmes autour de la coupe. Une réseau de transformation d'image synthétise ensuite les pixels à partir des points clés et des images sources. Comme les points clés peuvent comporter des erreurs, un mécanisme d'attention inter-modalités est proposé pour sélectionner et choisir la source la plus appropriée pour chaque point clé. En utilisant cette représentation intermédiaire, notre méthode obtient des résultats plus robustes que les méthodes de base d'interpolation vidéo performantes. Nous démontrons notre méthode sur divers sauts de coupe dans des vidéos de conversations, tels que la suppression de mots de remplissage, les pauses, voire des coupes aléatoires. Nos expériences montrent que nous pouvons réaliser des transitions fluides même dans des situations difficiles, comme lorsque la tête de la personne qui parle tourne ou se déplace brusquement.
Ouvrir le site Web

MorphCut Alternatives