DiffPortrait3D
DiffPortrait3D puede generar nuevas perspectivas 3D realistas y coherentes a partir de una sola foto de retrato tomada en exteriores.
Producto ComúnImagenSíntesis de retratosNueva perspectiva
DiffPortrait3D es un modelo de difusión condicional que puede generar nuevas perspectivas 3D realistas y coherentes incluso a partir de una sola foto de retrato tomada en exteriores. Específicamente, dada una imagen RGB de entrada única, nuestro objetivo es sintetizar detalles faciales realistas y plausibles renderizados desde una nueva perspectiva de cámara, mientras se conserva la identidad y la expresión facial. Nuestro método sin entrenamiento previo se generaliza bien a retratos faciales arbitrarios, con perspectivas de cámara no posadas, expresiones faciales extremas y diversas representaciones artísticas. En su núcleo, utilizamos el conocimiento previo generativo de un modelo de difusión 2D preentrenado en un conjunto de datos de imágenes a gran escala como nuestro backbone de renderizado, mientras guiamos el proceso de eliminación de ruido mediante un control de atención direccional que desacopla la apariencia y la pose de la cámara. Para ello, primero inyectamos el contexto de apariencia de la imagen de referencia en las capas de autoatención de una UNet congelada. Luego, manipulamos la vista renderizada mediante un novedoso módulo de control condicional que interpreta la pose de la cámara observando imágenes condicionales de sujetos cruzados desde la misma vista. Además, insertamos un módulo de atención entre vistas entrenables para mejorar la coherencia de las vistas, que se refuerza aún más mediante un nuevo proceso de generación de ruido con percepción 3D durante la inferencia. Demostramos resultados de vanguardia cualitativa y cuantitativamente en pruebas comparativas de exteriores y multivista desafiantes.
DiffPortrait3D Situación del tráfico más reciente
Total de visitas mensuales
474564576
Tasa de rebote
36.20%
Páginas promedio por visita
6.1
Duración promedio de la visita
00:06:34