Com o desenvolvimento da arte digital, as técnicas automatizadas de processamento de imagens têm recebido cada vez mais atenção. Recentemente, uma equipe de pesquisa da Universidade Tsinghua e do laboratório Tencent ARC apresentou um novo modelo de coloração de sequências de imagens chamado ColorFlow. Este modelo visa resolver o problema de colorir sequências de imagens em preto e branco mantendo a consistência da identidade de personagens e objetos, atendendo às necessidades práticas de indústrias como quadrinhos e animação.
ColorFlow é uma estrutura de difusão em três estágios que utiliza plenamente as informações de contexto, gerando cores precisas para sequências de imagens em preto e branco por meio de um pool de imagens de referência. Por exemplo, o modelo consegue colorir eficazmente o cabelo e as roupas dos personagens, garantindo a consistência de cores com a imagem de referência. Diferentemente das técnicas anteriores que exigem ajustes finos para cada personagem, o ColorFlow simplifica o processo de geração de cores por meio de um pipeline de coloração aprimorado por recuperação inovador e com forte capacidade de generalização.
O design do modelo inclui dois ramos principais: um ramo para extrair a identidade da cor e outro para o processo real de coloração. Este design de dois ramos utiliza as vantagens dos modelos de difusão, permitindo o aprendizado de contexto poderoso e a correspondência de identidade de cor por meio de um mecanismo de autoatenção. Para verificar a eficácia do ColorFlow, a equipe de pesquisa também lançou o ColorFlow-Bench, um benchmark abrangente para tarefas de coloração baseadas em imagens de referência.
Em experimentos comparativos, o ColorFlow superou modelos de ponta existentes em vários indicadores, demonstrando maior qualidade estética e cores geradas mais próximas das imagens originais. A equipe de pesquisa mostrou os resultados do ColorFlow em diferentes cenários artísticos, incluindo quadrinhos em preto e branco, arte de linha, fotos do mundo real e storyboards de desenhos animados, obtendo resultados satisfatórios.
O lançamento do ColorFlow não apenas estabelece um novo padrão para técnicas automatizadas de coloração de sequências de imagens, mas também fornece um forte suporte para o desenvolvimento futuro da indústria artística. A equipe de pesquisa espera que esta tecnologia seja amplamente aplicada em aplicações práticas, impulsionando a inovação e o progresso na criação de arte digital.
Acesso ao projeto: https://zhuang2002.github.io/ColorFlow/
Destaques:
🌟 ColorFlow é um modelo inovador de coloração de sequências de imagens em preto e branco que mantém a consistência da identidade dos personagens.
🎨 O modelo utiliza um design de dois ramos, um para extração da identidade da cor e outro para a coloração real, melhorando a eficiência e o resultado da coloração.
🏆 ColorFlow superou modelos de ponta existentes em vários indicadores, demonstrando maior qualidade estética e utilidade.