DiffPortrait3D

DiffPortrait3D permet de synthétiser, à partir d’une seule photo de portrait prise en extérieur, de nouvelles vues 3D réalistes et cohérentes.

Produit OrdinaireImageSynthèse de portraitsNouvelle vue
DiffPortrait3D est un modèle de diffusion conditionnelle capable de synthétiser des nouvelles vues 3D réalistes et cohérentes, même à partir d’une seule photo de portrait prise en extérieur. Plus précisément, étant donné une image RGB unique en entrée, notre objectif est de synthétiser des détails faciaux réalistes rendus à partir d’un nouveau point de vue caméra, tout en préservant l’identité et les expressions faciales. Notre méthode sans apprentissage préalable se généralise bien à n'importe quel portrait facial, avec des points de vue caméra non-posés, des expressions faciales extrêmes et diverses représentations artistiques. Au cœur de notre approche, nous utilisons les a priori génératifs d’un modèle de diffusion 2D pré-entraîné sur un ensemble de données d'images à grande échelle comme colonne vertébrale de notre rendu, tout en guidant le débruitage par un contrôle d'attention dirigé décomposant l'apparence et la pose de la caméra. Pour ce faire, nous injectons d’abord le contexte d’apparence dans les couches d’auto-attention d’un UNet figé à partir de l’image de référence. Ensuite, nous manipulons la vue rendue via un nouveau module de contrôle conditionnel qui interprète la pose de la caméra en observant des images conditionnelles de sujets croisés provenant de la même vue. De plus, nous intégrons un module d’attention inter-vues entraînable pour améliorer la cohérence des vues, renforcée plus avant par un nouveau processus de génération de bruit 3D-conscient pendant l'inférence. Nous démontrons des résultats de pointe qualitativement et quantitativement sur des tests de référence difficiles en extérieur et multi-vues.
Ouvrir le site Web

DiffPortrait3D Dernière situation du trafic

Nombre total de visites mensuelles

474564576

Taux de rebond

36.20%

Nombre moyen de pages par visite

6.1

Durée moyenne de la visite

00:06:34

DiffPortrait3D Tendance des visites

DiffPortrait3D Distribution géographique des visites

DiffPortrait3D Sources de trafic

DiffPortrait3D Alternatives