Forscher des Google Research Teams und der University of Illinois at Urbana-Champaign haben kürzlich ihre Studie „3D Relighting without Inverse Rendering“ veröffentlicht. Die Studie befasst sich mit der Synthese von neu beleuchteten Ansichten, einer Methode zur Wiederherstellung einer 3D-Darstellung, die aus neuen Blickwinkeln unter Zielbeleuchtungsbedingungen gerendert werden kann, ausgehend von einer Reihe von Bildern desselben Objekts unter unbekannten Beleuchtungsbedingungen.
Traditionelle Methoden basieren auf Inversem Rendern und versuchen, die Objektgeometrie, das Material und die Beleuchtung, die die Eingabebilder erklären, zu trennen. Dies beinhaltet jedoch in der Regel die Optimierung durch differenzierbares Monte-Carlo-Rendering, was anfällig und rechenintensiv ist.
Daher schlagen die Forscher einen einfacheren Ansatz vor: IllumiNeRF. Zuerst wird jedes Eingabebild mithilfe eines lichtbedingten Bilddiffusionsmodells neu beleuchtet. Anschließend wird aus diesen neu beleuchteten Bildern ein neuronales Strahlungsfeld (NeRF) rekonstruiert, um neue Perspektiven unter der Zielbeleuchtung zu rendern. Sie zeigen, dass diese Strategie überraschend wettbewerbsfähig ist und in mehreren Relighting-Benchmarks state-of-the-art Ergebnisse erzielt.
So funktioniert es im Detail:
Gegeben eine Reihe von Bildern und Kamerahaltungen (a), extrahieren die Forscher die 3D-Geometrie mit NeRF, wie in (b) gezeigt;
Basierend auf dieser Geometrie und der Zielbeleuchtung (c) werden für jede gegebene Eingabeansicht Strahlungs-Hints erstellt, wie in (d) dargestellt;
Als Nächstes wird jedes Eingabebild unabhängig voneinander mit dem in (e) gezeigten Relighting-Diffusionsmodell neu beleuchtet, wobei S mögliche Lösungen für jedes gegebene Bild in (f) gezeigt werden;
Schließlich wird der Satz neu beleuchteter Bilder durch latente NeRF-Optimierung zu einer 3D-Darstellung verfeinert, wie in (g) und (h) gezeigt.
3D-konsistente Relighting
Die erste Zeile zeigt Renderings des finalen latenten NeRF;
Die zweite Zeile zeigt die Diffusions-Samples der nächstgelegenen Trainingsansicht, die jedem gerenderten Frame oben entspricht.
Dieses Produkt findet Anwendung in der Computergrafik, Augmented Reality und Virtual Reality. Beispielsweise kann es in der Filmproduktion verwendet werden, um 3D-Szenen unter verschiedenen Beleuchtungsbedingungen zu rendern und so Kosten und Zeitaufwand zu sparen. In VR-Anwendungen können Benutzer virtuelle Szenen unter verschiedenen Lichtbedingungen erleben, was zu mehr Realismus und Immersion führt. Darüber hinaus kann das Produkt in Bereichen wie digitaler Kunst und Architekturdesign eingesetzt werden, um Benutzern flexiblere Beleuchtungsoptionen und Render-Effekte zu bieten.
Produktzugang: https://top.aibase.com/tool/illuminerf