ActAnywhere
ActAnywhere es un modelo generador de fondos de vídeo con percepción del sujeto.
Producto ComúnVideoProcesamiento de vídeoGeneración de vídeo
ActAnywhere es un modelo generador diseñado para crear automáticamente fondos de vídeo que coincidan con el movimiento y la apariencia del sujeto en primer plano. Esta tarea implica sintetizar fondos consistentes con el movimiento y la apariencia del sujeto en primer plano, al tiempo que se ajusta a la intención creativa del artista. ActAnywhere aprovecha el poder de los modelos de difusión de vídeo a gran escala y está especialmente adaptado para esta tarea. ActAnywhere utiliza como entrada una serie de segmentaciones del sujeto en primer plano y una imagen que describe la escena deseada como condición, generando un vídeo coherente consistente con los fotogramas condicionales, al tiempo que logra una interacción realista entre primer plano y fondo. El modelo se ha entrenado en un conjunto de datos de vídeo de interacción humano-máquina a gran escala. Numerosas evaluaciones demuestran que el rendimiento del modelo es significativamente superior al de los modelos de referencia y que puede generalizarse a diversas muestras de distribución, incluidos sujetos no humanos.