Recientemente, un proyecto de código abierto llamado Ultralight-Digital-Human ha generado un gran interés en la comunidad de desarrolladores. Este proyecto ha logrado resolver el desafío de implementar la tecnología de humanos digitales en dispositivos móviles, permitiendo que incluso los smartphones comunes puedan ejecutar aplicaciones de humanos digitales en tiempo real, abriendo nuevas posibilidades para la popularización de esta tecnología.
Este modelo de humano digital ultraligero emplea una innovadora tecnología de aprendizaje profundo. Mediante la optimización de algoritmos y la compresión del modelo, se ha logrado "adelgazar" el enorme sistema de humanos digitales hasta el punto de poder funcionar sin problemas en dispositivos móviles. El sistema admite el procesamiento en tiempo real de entradas de vídeo y audio, y puede sintetizar rápidamente la imagen del humano digital con una respuesta y fluidez óptimas.
En cuanto a la implementación técnica, el proyecto integra dos esquemas de extracción de características de audio: Wenet y Hubert, permitiendo a los desarrolladores elegir la opción más adecuada según el caso de uso. Además, mediante la introducción de la tecnología de sincronización de red (syncnet), se ha mejorado significativamente la sincronización de los labios del humano digital. Para garantizar un funcionamiento fluido en dispositivos móviles, el equipo de desarrollo ha empleado la técnica de poda de parámetros durante el entrenamiento y la implementación, reduciendo eficazmente la demanda de recursos de cálculo.
Otro punto destacado del proyecto es la documentación completa del proceso de entrenamiento. Los desarrolladores solo necesitan preparar un vídeo de alta calidad de 3 a 5 minutos de duración con imágenes de su rostro para comenzar a entrenar su propio modelo de humano digital siguiendo las instrucciones. El sistema también especifica los requisitos de vídeo: el modo Wenet necesita una velocidad de fotogramas de 20 fps, mientras que el modo Hubert requiere 25 fps.
Para asegurar la eficacia del entrenamiento, el equipo del proyecto recomienda prestar atención a los siguientes aspectos clave: utilizar un modelo preentrenado como base; garantizar la calidad de los datos de entrenamiento; monitorizar periódicamente el proceso de entrenamiento; y ajustar los parámetros de entrenamiento según sea necesario. Estos detalles influyen directamente en el resultado final del humano digital.
Actualmente, este proyecto de código abierto ya ha demostrado un enorme potencial en áreas como aplicaciones sociales, juegos móviles y realidad virtual. En comparación con las tecnologías tradicionales de humanos digitales, no solo reduce los requisitos de hardware, sino que también permite la compatibilidad multiplataforma, pudiendo funcionar de forma estable en todo tipo de smartphones.
Dirección del proyecto: https://github.com/anliyuan/Ultralight-Digital-Human
