A Tencent lançou recentemente um projeto inovador chamado LVCD (Large Video Color Diffusion), uma pequena ferramenta especializada na coloração de esboços de animação em vídeo. O LVCD consegue converter automaticamente esboços em preto e branco em vídeos de animação coloridos, oferecendo uma série de recursos inovadores.

Coloração eficiente de vídeos de animação de linha

O LVCD é uma nova estrutura de difusão de vídeo, projetada para realizar a coloração de vídeos de animação de linha baseada em referência. Diferentemente dos métodos anteriores que dependiam apenas de modelos de geração de imagens para colorir quadro a quadro os desenhos de linha, este método utiliza um modelo de difusão de vídeo pré-treinado em larga escala para gerar vídeos de animação ricos em cores. Este método inovador não apenas garante maior consistência temporal, mas também processa movimentos de grande amplitude de forma mais eficiente.

ControlNet guiado por esboço

O LVCD introduziu a tecnologia ControlNet guiada por esboço, que fornece controle adicional ao modelo de difusão de imagem para vídeo, permitindo que a geração de vídeos de animação seja melhor controlada com base nos desenhos de linha. Essa tecnologia melhora significativamente o controle e a qualidade da geração de animações.

Mecanismo de atenção de referência

O LVCD também apresenta um mecanismo de atenção de referência, que transfere eficazmente as cores do quadro de referência para outros quadros, especialmente em cenas com movimento rápido e de grande amplitude. Esse recurso garante a consistência das cores na produção de animações, mesmo em movimentos complexos.

Nova técnica de amostragem sequencial

Na fase de inferência, o LVCD utiliza um novo esquema de amostragem sequencial, combinando um módulo de mistura sobreposta e a atenção de referência anterior, permitindo que o modelo ultrapasse a limitação de comprimento fixo original e gere animações consistentes em cores com sequências de longa duração. Isso significa que o LVCD pode processar vários tipos de entrada de desenhos de linha, incluindo desenhos de linha feitos à mão e desenhos de linha gerados automaticamente, e gerar vídeos longos de comprimento ilimitado.

Funcionalidades principais

Coloração eficiente de vídeos de animação de linha com base em quadros de referência: O LVCD pode utilizar as informações de cor dos quadros de referência e transferi-las com precisão para outros quadros.

ControlNet guiado por esboço: Melhora o controle da geração de animações.

Mecanismo de atenção de referência: Garante a consistência das cores em movimentos rápidos.

Nova técnica de amostragem sequencial: Expande a duração da geração de vídeos.

Qualidade de quadro e vídeo significativamente melhorada: Adequado para cenários complexos de produção de animações.

Resultados experimentais

Os resultados experimentais do LVCD mostram que o método supera significativamente as tecnologias de ponta existentes em termos de qualidade de quadro e vídeo e consistência temporal. Através da geração de animações de longa duração e alta qualidade, o LVCD oferece uma solução totalmente nova para a criação de animações, tornando a produção de animações complexas mais eficiente e intuitiva.

O lançamento dessa tecnologia marca mais um grande passo da Tencent no campo da produção de animações, oferecendo maior conveniência e liberdade criativa aos criadores de animações no futuro.

Endereço do projeto: https://luckyhzt.github.io/lvcd