Recientemente, el marco de generación de video de retratos en vivo LivePortrait, de código abierto del equipo Kuaishou Keling, ha causado sensación en el campo de la inteligencia artificial. Esta innovadora herramienta solo necesita una imagen estática para generar videos dinámicos realistas, mostrando el enorme potencial de la IA en la generación de videos.
LivePortrait, desde su lanzamiento, ha generado un gran interés en la comunidad de código abierto. En poco tiempo, el proyecto ha obtenido 7.5K estrellas en GitHub, convirtiéndose en uno de los proyectos de IA más populares del momento. Además, ha atraído la atención del director de estrategia de Hugging Face, Thomas Wolf, quien lo probó personalmente, y se ubica en el primer lugar de las tendencias en todas las aplicaciones de la plataforma Hugging Face.
La principal ventaja de LivePortrait radica en su asombrosa capacidad de "trasplante" de expresiones. No solo permite que los personajes de una imagen estática parpadeen, sonrían o giren la cabeza, sino que también puede copiar con precisión la expresión y el movimiento de una persona a otra, sin limitación de estilo, siendo aplicable a estilos realistas, pinturas al óleo, esculturas y renderizados 3D.
El alcance de esta herramienta es extremadamente amplio. Desde retratos individuales hasta fotos familiares, desde personas hasta mascotas, LivePortrait puede lograr efectos dinámicos vívidos. Aún más sorprendente es su capacidad para controlar con precisión las expresiones en el video, como ajustar la curva de la sonrisa o el tamaño de los ojos, ofreciendo a los creadores un control sin precedentes sobre las expresiones.
A nivel técnico, LivePortrait utiliza un marco innovador basado en puntos clave implícitos, a diferencia de los métodos basados en modelos de difusión que son la corriente principal actual. Mediante un proceso de entrenamiento de dos etapas, mejora significativamente la capacidad de generalización, la capacidad de expresión y la calidad de la textura del modelo. La primera etapa se centra en la mejora del marco, incluyendo la organización de datos de alta calidad, el entrenamiento mixto y la actualización de la arquitectura de la red. La segunda etapa, a través del entrenamiento de los módulos de ajuste y redireccionamiento, mejora la precisión del procesamiento de los detalles de las expresiones faciales.
En comparación con los métodos existentes, LivePortrait presenta un excelente rendimiento en calidad de generación y precisión de conducción, especialmente en la captura de expresiones sutiles y el mantenimiento de la textura de la imagen original. Aunque en algunos aspectos es ligeramente inferior a los métodos basados en modelos de difusión, la eficiencia de inferencia de LivePortrait es extremadamente alta, alcanzando una velocidad de generación de 12.8 milisegundos por cuadro en una GPU RTX4090, superando con creces los métodos existentes basados en modelos de difusión.
La aparición de LivePortrait no solo muestra los últimos avances de la IA en la generación de video, sino que también aporta nuevas posibilidades a la industria creativa. Con el continuo desarrollo de este tipo de tecnología, podemos esperar que en un futuro próximo surjan más aplicaciones sorprendentes de generación de video con IA, ofreciendo a los creadores de contenido y a los usuarios comunes herramientas de creación más ricas y convenientes.
Dirección del proyecto:https://top.aibase.com/tool/liveportrait
Dirección de prueba de LivePortrait:
https://huggingface.co/spaces/KwaiVGI/LivePortrait
