ActAnywhere
ActAnywhere est un modèle de génération d'arrière-plans vidéo prenant en compte la perception du sujet principal.
Produit OrdinaireVidéoTraitement vidéoGénération vidéo
ActAnywhere est un modèle génératif permettant de produire automatiquement des arrière-plans vidéo cohérents avec le mouvement et l'apparence du sujet principal au premier plan. Cette tâche implique la synthèse d'arrière-plans concordant avec le mouvement et l'apparence du sujet principal, tout en respectant l'intention artistique. ActAnywhere exploite la puissance des modèles de diffusion vidéo à grande échelle et est spécialement conçu pour cette tâche. ActAnywhere prend en entrée une série de segmentations du sujet principal au premier plan, ainsi qu'une image conditionnelle décrivant la scène souhaitée, pour générer une vidéo cohérente avec les images conditionnelles, tout en assurant une interaction réaliste entre le premier plan et l'arrière-plan. Le modèle a été entraîné sur un ensemble de données vidéo d'interaction homme-machine à grande échelle. De nombreuses évaluations montrent que les performances du modèle sont nettement supérieures aux références et qu'il peut se généraliser à divers échantillons de distribution, y compris les sujets non humains.