Na área de modelagem 3D, gerar texturas realistas sempre foi um desafio. Recentemente, pesquisadores da Universidade de Alberta, da Universidade de Toronto e do laboratório Huawei Noah's Ark lançaram um novo método - TexGen. Essa tecnologia pode gerar texturas 3D correspondentes à descrição de texto do usuário, com resultados significativamente melhores do que as tecnologias existentes.
Acesso ao produto: https://top.aibase.com/tool/texgen
O núcleo do TexGen é uma estrutura de amostragem e reamostragem multi-perspectiva, usando um modelo de difusão pré-treinado de texto para imagem. Métodos tradicionais costumam apresentar problemas como juntas óbvias ou suavização excessiva na geração de texturas.
O TexGen mantém um mapa de textura com parâmetros no espaço RGB e o atualiza após cada etapa de amostragem do modelo de difusão, reduzindo efetivamente as diferenças entre as perspectivas. Essa amostragem consistente em diferentes perspectivas torna as texturas mais coerentes e naturais entre cada perspectiva.
O TexGen também introduz uma estratégia de amostragem multi-perspectiva guiada por atenção. Com essa estratégia, as informações de aparência da textura podem ser transmitidas entre diferentes perspectivas, garantindo a consistência da textura gerada em todos os ângulos.
Além disso, para proteger os detalhes da textura, a equipe de pesquisa desenvolveu uma técnica de reamostragem de ruído, que ajuda a estimar o ruído e gerar entradas adequadas para etapas subsequentes de remoção de ruído. Assim, o TexGen não apenas inova na geração de texturas, mas também se destaca na edição de texturas, permitindo ajustes mantendo a identidade original.
Após extensas avaliações qualitativas e quantitativas, a equipe de pesquisa descobriu que o TexGen se destaca na qualidade da textura gerada para diversos objetos 3D, na consistência da perspectiva e na riqueza dos detalhes de aparência, superando os métodos atuais mais avançados.
Abaixo está uma comparação do TexGen com TEXTure, Text2Tex, Fantasia3D e ProlificDreamer
Aqui estão algumas demonstrações de resultados:
Destaques:
🌟 O TexGen gera texturas 3D de alta qualidade com base em descrições de texto, resolvendo problemas de juntas e suavização excessiva de métodos tradicionais.
👀 Utiliza uma estrutura de amostragem e reamostragem multi-perspectiva para garantir a consistência da textura em diferentes perspectivas.
🖌️ A nova técnica de reamostragem de ruído permite que o TexGen também se destaque na edição de texturas, mantendo o estilo original.
