DiffPortrait3D
DiffPortrait3D synthetisiert aus einem einzigen, im Freien aufgenommenen Porträtfoto realistische, 3D-konsistente neue Perspektiven.
Normales ProduktBildPorträtsyntheseNeue Perspektiven
DiffPortrait3D ist ein bedingtes Diffusionsmodell, das selbst mit nur einem einzigen Porträtfoto aus dem Freien realistische, 3D-konsistente neue Perspektiven synthetisieren kann. Konkret erstellen wir, gegeben ein einzelnes RGB-Eingabebild, fotorealistische Gesichtsdetails aus neuen Kameraperspektiven, während Identität und Gesichtsausdruck erhalten bleiben. Unsere zero-shot Methode lässt sich gut auf beliebige Gesichtsporträts mit nicht-frontalen Kameraperspektiven, extremen Gesichtsausdrücken und verschiedenen künstlerischen Darstellungen verallgemeinern. Im Kern nutzen wir die generativen Priors eines auf einem groß angelegten Bilddatensatz vortrainierten 2D-Diffusionsmodells als unser Rendering-Backbone, während wir das Entrauschen durch eine gerichtete Aufmerksamkeitskontrolle steuern, welche Aussehen und Kameraperspektive entkoppelt. Dazu injizieren wir zunächst den Aussehen-Kontext aus dem Referenzbild in die Selbstaufmerksamkeits-Schichten eines eingefrorenen UNet. Anschließend manipulieren wir die gerenderte Ansicht durch ein neuartiges bedingtes Steuerungsmodul, das die Kameraperspektive interpretiert, indem es konditionierende Bilder von demselben Blickwinkel von verschiedenen Subjekten betrachtet. Zusätzlich integrieren wir einen trainierbaren Cross-View-Aufmerksamkeitsmodul zur Verbesserung der Blickkonsistenz, welcher durch einen neuen 3D-aware Rauschgenerierungsprozess während der Inferenz weiter verstärkt wird. Wir belegen qualitativ und quantitativ state-of-the-art Ergebnisse in herausfordernden, im Freien aufgenommenen und multi-view Benchmarks.
DiffPortrait3D Neueste Verkehrssituation
Monatliche Gesamtbesuche
474564576
Absprungrate
36.20%
Durchschnittliche Seiten pro Besuch
6.1
Durchschnittliche Besuchsdauer
00:06:34