DiffPortrait3D

DiffPortrait3D synthetisiert aus einem einzigen, im Freien aufgenommenen Porträtfoto realistische, 3D-konsistente neue Perspektiven.

Normales ProduktBildPorträtsyntheseNeue Perspektiven
DiffPortrait3D ist ein bedingtes Diffusionsmodell, das selbst mit nur einem einzigen Porträtfoto aus dem Freien realistische, 3D-konsistente neue Perspektiven synthetisieren kann. Konkret erstellen wir, gegeben ein einzelnes RGB-Eingabebild, fotorealistische Gesichtsdetails aus neuen Kameraperspektiven, während Identität und Gesichtsausdruck erhalten bleiben. Unsere zero-shot Methode lässt sich gut auf beliebige Gesichtsporträts mit nicht-frontalen Kameraperspektiven, extremen Gesichtsausdrücken und verschiedenen künstlerischen Darstellungen verallgemeinern. Im Kern nutzen wir die generativen Priors eines auf einem groß angelegten Bilddatensatz vortrainierten 2D-Diffusionsmodells als unser Rendering-Backbone, während wir das Entrauschen durch eine gerichtete Aufmerksamkeitskontrolle steuern, welche Aussehen und Kameraperspektive entkoppelt. Dazu injizieren wir zunächst den Aussehen-Kontext aus dem Referenzbild in die Selbstaufmerksamkeits-Schichten eines eingefrorenen UNet. Anschließend manipulieren wir die gerenderte Ansicht durch ein neuartiges bedingtes Steuerungsmodul, das die Kameraperspektive interpretiert, indem es konditionierende Bilder von demselben Blickwinkel von verschiedenen Subjekten betrachtet. Zusätzlich integrieren wir einen trainierbaren Cross-View-Aufmerksamkeitsmodul zur Verbesserung der Blickkonsistenz, welcher durch einen neuen 3D-aware Rauschgenerierungsprozess während der Inferenz weiter verstärkt wird. Wir belegen qualitativ und quantitativ state-of-the-art Ergebnisse in herausfordernden, im Freien aufgenommenen und multi-view Benchmarks.
Website öffnen

DiffPortrait3D Neueste Verkehrssituation

Monatliche Gesamtbesuche

474564576

Absprungrate

36.20%

Durchschnittliche Seiten pro Besuch

6.1

Durchschnittliche Besuchsdauer

00:06:34

DiffPortrait3D Besuchstrend

DiffPortrait3D Geografische Verteilung der Besuche

DiffPortrait3D Traffic-Quellen

DiffPortrait3D Alternativen