Recentemente, a equipe de pesquisa da Alibaba Group lançou uma nova estrutura chamada UniPortrait, focada no processamento personalizado de imagens de retratos, alcançando consistência de personagem único, consistência de múltiplos personagens e referência de estilo.
Esta estrutura não apenas processa imagens de uma única identidade, mas também permite personalização de alta qualidade em cenários com múltiplos personagens. O UniPortrait se destaca pela capacidade de manter a alta fidelidade dos traços faciais e oferece amplas funcionalidades de edição facial. Os usuários podem até gerar as imagens desejadas usando descrições de texto em formato livre, sem a necessidade de layouts fixos.
Consistência de personagem único
O núcleo do UniPortrait é composto por dois módulos: o módulo de incorporação de ID e o módulo de roteamento de ID. O módulo de incorporação de ID é responsável por extrair as características faciais editáveis de cada identidade e incorporá-las de forma desacoplada no espaço de contexto do modelo de difusão. Em seguida, o módulo de roteamento de ID combina e aloca essas características adaptivamente de acordo com as diferentes áreas da síntese de imagem, permitindo assim a personalização de uma ou várias identidades.
Consistência de múltiplos personagens
Durante o treinamento, o UniPortrait utilizou um esquema de treinamento em duas fases cuidadosamente projetado. A primeira fase se concentra no treinamento de uma única identidade, enquanto a segunda fase realiza o ajuste fino de múltiplas identidades. Através desse método de treinamento, o UniPortrait supera os métodos existentes no desempenho de personalização de uma e várias identidades. Os resultados experimentais também demonstram sua boa escalabilidade e compatibilidade generalizada com as ferramentas de controle de geração existentes.
O lançamento do UniPortrait trouxe novas possibilidades para a personalização de imagens de retratos, especialmente na geração de prompts de forma livre e layouts diversificados. A equipe de pesquisa apresentou vários exemplos de personalização de uma e várias identidades, mostrando o enorme potencial desta estrutura em aplicações práticas. Em resumo, o UniPortrait não apenas melhora a qualidade da geração de imagens, mas também prepara o caminho para uma variedade de cenários de aplicação futuros.
Acesso ao projeto do produto: https://top.aibase.com/tool/uniportrait
Acesso para teste: https://huggingface.co/spaces/Junjie96/UniPortrait
Destaques:
🌟UniPortrait é uma estrutura nova, focada no processamento personalizado de imagens de uma e várias identidades, com alta preservação da fidelidade dos traços faciais.
✍️ A estrutura é composta pelos módulos de incorporação de ID e roteamento de ID, utilizando um esquema de treinamento em duas fases para uma personalização eficiente.
🚀 UniPortrait oferece amplas possibilidades para a personalização de retratos, suportando descrições de texto livre e geração de layouts diversificados.