Recentemente, um método de coloração de esboços chamado MangaNinja chamou a atenção. Basta inserir um esboço e uma imagem de referência para colorir o esboço com base na imagem de referência.Esta tecnologia é baseada em modelos de difusão, focando na coloração de esboços guiada por imagens de referência, melhorando significativamente a precisão da coloração e o controle interativo.
A equipe de pesquisa garantiu a precisa transferência de detalhes dos personagens por meio de duas inovações. Primeiro, eles introduziram um módulo de rearranjo de patches para promover o aprendizado correspondente entre a imagem colorida de referência e o esboço alvo. Segundo, adotaram um esquema de controle baseado em pontos, permitindo que os usuários façam correspondência de cores refinadas.
Em seus experimentos, os pesquisadores construíram um conjunto de dados de referência autocoletado e o compararam com métodos de coloração existentes. Os resultados mostraram que o MangaNinja é significativamente superior a outros métodos em termos de precisão de coloração e qualidade da imagem gerada. Um aspecto importante deste método é sua capacidade de produzir resultados de alta qualidade sem depender da orientação por pontos.
O MangaNinja demonstrou suas vantagens únicas ao lidar com cenários desafiadores. Por exemplo, em situações com grandes mudanças na postura do personagem ou falta de detalhes, a orientação por pontos ajuda a resolver esses problemas. Quando vários objetos estão envolvidos, a orientação por pontos também previne a confusão de cores. Além disso, os usuários podem selecionar áreas específicas de várias imagens de referência para coloração multi-referência, fornecendo orientação para os vários elementos do esboço e resolvendo conflitos entre elementos visuais semelhantes.
A tecnologia também suporta correspondência de cores semânticas e controle refinado ao usar diferentes imagens de referência. Os pesquisadores acreditam que este método interativo de coloração ajudará os usuários a encontrar inspiração durante o processo de coloração e oferecerá mais possibilidades criativas.
Projeto:https://johanan528.github.io/MangaNinjia/
github:https://github.com/ali-vilab/MangaNinjia
Destaques:
🌟 MangaNinja é um método de coloração de esboços baseado em imagens de referência, com capacidade de correspondência precisa e controle refinado.
🎨 Através de um inovador módulo de rearranjo de patches e um esquema de controle baseado em pontos, o MangaNinja melhora significativamente a precisão da coloração e a qualidade da imagem.
🖌️ A tecnologia pode lidar com vários desafios de coloração, incluindo poses extremas e coordenação de múltiplas imagens de referência, proporcionando uma experiência interativa de coloração de alta qualidade.
