El 18 de febrero, Kunlun Wanwei anunció la publicación de código abierto del primer modelo de generación de video para la creación de cortometrajes de IA de China, SkyReels-V1, y el primer algoritmo de China de nivel SOTA para el control de expresiones y movimientos basado en un modelo de video base, SkyReels-A1. Esta iniciativa tiene como objetivo solucionar los problemas actuales de los modelos de generación de video de IA, como la falta de código abierto, los altos costos y la dificultad de uso, impulsando así la innovación y el desarrollo de la industria de los cortometrajes de IA.

SkyReels-V1 es el primer modelo de generación de video de código abierto de China orientado a la creación de cortometrajes de IA. Este modelo, mediante la combinación de varios módulos de generación, como la generación de sincronización labial, la generación de expresiones y la generación de movimientos corporales, logra un control preciso de los detalles de la interpretación de los personajes. SkyReels-V1 utiliza millones de datos de alta calidad de Hollywood para el entrenamiento y ajuste fino, mejorando significativamente el efecto de interpretación controlable de la generación de expresiones y movimientos corporales.

SkyReels-V1 admite 33 sutiles expresiones faciales y más de 400 combinaciones de movimientos naturales, pudiendo reproducir con gran fidelidad la expresión emocional humana. Los videos generados poseen una estética y una calidad de imagen cinematográfica, logrando la generación de interpretaciones de microexpresiones faciales de nivel cinematográfico. Además, SkyReels-V1 no solo admite la generación de video a partir de texto, sino también la generación de video a partir de imágenes, siendo el modelo de generación de video de código abierto con mayor cantidad de parámetros que admite la generación de video a partir de imágenes.

En cuanto a la implementación técnica, SkyReels-V1 se basa en la línea de limpieza de datos de alta calidad y anotación manual desarrollada por Kunlun Wanwei, construyendo millones de datos de alta calidad de películas, series de televisión y documentales. El equipo también desarrolló un gran modelo multimodal de comprensión de video "centrado en el ser humano", mejorando la capacidad de comprensión de la información relacionada con las personas en el video.

SkyReels-A1 es el primer algoritmo de nivel SOTA para el control de expresiones y movimientos basado en un modelo de video base. Este algoritmo admite la captura de expresiones faciales de nivel cinematográfico impulsada por video, logrando una reproducción de alta fidelidad de microexpresiones. SkyReels-A1 puede generar videos dinámicos de personajes con alta fidelidad basados en cualquier proporción corporal, cuyo realismo proviene de la reproducción profunda de detalles multidimensionales como los cambios en las expresiones faciales, las emociones, la textura de la piel y los movimientos corporales.

SkyReels-A1 admite la generación de control de expresiones faciales de perfil, logrando una generación más realista de microexpresiones de cejas y ojos y movimientos de cabeza y cuerpo más amplios y naturales. En comparación con Act-One de Runway, SkyReels-A1 no distorsiona a los personajes en los videos generados, los detalles de la interpretación son más realistas y se logra una fusión perfecta y natural entre la expresión facial y los movimientos corporales.

Kunlun Wanwei siempre ha defendido la publicación de código abierto, promoviendo la igualdad tecnológica. Desde agosto de 2023, la empresa ha publicado sucesivamente varios modelos, incluyendo el modelo de lenguaje grande "Tiangong" Skywork-13B, el paquete de herramientas de desarrollo de agentes digitales inteligentes AgentStudio y el modelo MoE supermasivo de 400 mil millones de parámetros "Tiangong 3.0". La publicación de código abierto de SkyReels-V1 y SkyReels-A1 es la primera en la industria de los cortometrajes de IA, con el objetivo de ofrecer a los usuarios capacidades AIGC de bajo costo y mayor controlabilidad.

Fang Han, presidente y CEO de Kunlun Wanwei, afirmó que la aparición de las capacidades AIGC reducirá significativamente el costo de producción cinematográfica y promoverá la igualdad cultural. En el futuro, Kunlun Wanwei continuará publicando más modelos y algoritmos de generación de video, impulsando la construcción y el florecimiento continuos del ecosistema de cortometrajes de IA.

Dirección de código abierto:

SkyReels-V1

https://github.com/SkyworkAI/SkyReels-V1

SkyReels-A1

https://github.com/SkyworkAI/SkyReels-A1

Informe técnico:https://skyworkai.github.io/skyreels-a1.github.io/report.pdf

Dirección oficial de SkyReels:skyreels.ai