腾讯最近推出了一项创新项目，名为LVCD（Large Video Color Diffusion），这是一个专门为动画视频线稿上色的小工具。LVCD能够自动将黑白线稿转化为彩色动画视频，带来了一系列突破性的功能。
Coloreo eficiente de videos de animación de líneas
LVCD es un nuevo marco de difusión de video diseñado para el coloreado basado en referencias de videos de animación de líneas. A diferencia de los métodos anteriores que se basan únicamente en modelos de generación de imágenes para colorear fotograma a fotograma las ilustraciones de líneas, este método utiliza un modelo de difusión de video preentrenado a gran escala para generar videos de animación ricos en color. Este método innovador no solo garantiza una mayor coherencia temporal, sino que también maneja de manera más eficiente los movimientos de gran amplitud.
ControlNet guiado por bocetos
LVCD introduce la tecnología ControlNet guiada por bocetos, que proporciona un control adicional al modelo de difusión de imagen a video, permitiendo que la generación de videos de animación se regule mejor en función de las ilustraciones de líneas. Esta tecnología mejora significativamente la controlabilidad y la calidad de la generación de animaciones.
Mecanismo de atención de referencia
LVCD también presenta un mecanismo de atención de referencia, que transfiere eficazmente el color de los fotogramas de referencia a otros fotogramas, especialmente en escenas con movimiento rápido y de gran amplitud. Esta característica garantiza la coherencia del color en la producción de animaciones, incluso en movimientos complejos.
Nueva técnica de muestreo secuencial
En la etapa de inferencia, LVCD utiliza un nuevo esquema de muestreo secuencial, que combina un módulo de mezcla superpuesta y la atención de referencia anterior, permitiendo que el modelo supere las limitaciones de longitud fija y genere animaciones de color coherentes en secuencias largas. Esto significa que LVCD puede procesar varios tipos de entrada de ilustraciones de líneas, incluyendo ilustraciones de líneas dibujadas a mano y generadas automáticamente, y generar videos largos de longitud ilimitada.
Funciones principales
Coloreo eficiente de videos de animación de líneas basado en fotogramas de referencia: LVCD puede utilizar la información de color de los fotogramas de referencia y transferirla con precisión a otros fotogramas.
ControlNet guiado por bocetos: Mejora la controlabilidad de la generación de animaciones.
Mecanismo de atención de referencia: Garantiza la coherencia del color en movimientos rápidos.
Nueva técnica de muestreo secuencial: Amplía la duración de la generación de videos.
Calidad de fotogramas y videos significativamente mejorada: Aplicable a escenas de producción de animaciones complejas.
Resultados experimentales
Los resultados experimentales de LVCD muestran que este método supera significativamente a las técnicas más avanzadas existentes en términos de calidad de fotogramas y videos, y coherencia temporal. Mediante la generación de animaciones de alta calidad y coherentes a largo plazo, LVCD ofrece una solución completamente nueva para la creación de animaciones, haciendo que la producción de animaciones complejas sea más eficiente e intuitiva.
El lanzamiento de esta tecnología marca un gran avance de Tencent en el campo de la producción de animaciones, y en el futuro ofrecerá mayor comodidad y libertad creativa a los creadores de animaciones.
Dirección del proyecto: https://luckyhzt.github.io/lvcd