Recientemente, investigadores del equipo de Google y de la Universidad de Illinois Urbana-Champaign publicaron un estudio titulado "Reiluminación 3D sin renderizado inverso". Este estudio explora un método de síntesis de vistas reiluminables que recupera una representación 3D capaz de representar nuevas perspectivas bajo una iluminación objetivo, utilizando un conjunto de imágenes de objetos bajo condiciones de iluminación desconocidas.
Los métodos tradicionales se basan en el renderizado inverso, intentando separar la geometría, los materiales y la iluminación de los objetos que explican las imágenes de entrada. Sin embargo, esto suele implicar la optimización mediante renderizado de Monte Carlo diferenciable, lo que resulta frágil y computacionalmente costoso.
Por lo tanto, el equipo de investigación propone un método más sencillo, IllumiNeRF: primero, se vuelve a iluminar cada imagen de entrada utilizando un modelo de difusión de imágenes sensible a las condiciones de iluminación, y luego se utiliza estas imágenes reiluminadas para reconstruir un campo de radiación neuronal (NeRF), permitiendo así la representación de nuevas perspectivas bajo la iluminación objetivo. Demostraron que esta estrategia es sorprendentemente competitiva y logró resultados de vanguardia en varias pruebas de referencia de reiluminación.
Su funcionamiento se detalla a continuación:
Dados un conjunto de imágenes y poses de cámara (a), los investigadores ejecutan NeRF para extraer la geometría 3D, como se muestra en (b);
Basándose en esta geometría y en la iluminación objetivo mostrada en (c), se crean indicaciones de radiación para cada vista de entrada dada, como se muestra en (d);
A continuación, se reilumina independientemente cada imagen de entrada utilizando el modelo de difusión de reiluminación mostrado en (e) y las muestras S de posibles soluciones para cada imagen dada, mostradas en (f);
Finalmente, el conjunto de imágenes reeditadas se refina en una representación 3D mediante la optimización de NeRF latente, como se muestra en (g) y (h).
Reiluminación 3D consistente
La primera fila muestra las representaciones del NeRF latente final;
La segunda fila muestra las muestras de difusión de las vistas de entrenamiento más cercanas correspondientes a cada fotograma renderizado superior.
Este producto se puede aplicar en los campos de la infografía por computadora, la realidad aumentada y la realidad virtual. Por ejemplo, en la producción cinematográfica, se puede utilizar para representar escenas 3D bajo diferentes condiciones de iluminación, ahorrando así costos y tiempo de filmación. En las aplicaciones de realidad virtual, los usuarios pueden experimentar escenas virtuales en diferentes entornos de iluminación, mejorando el realismo y la inmersión. Además, este producto también se puede utilizar en campos como la creación de arte digital y el diseño de arquitectura, ofreciendo a los usuarios una representación y efectos de iluminación más flexibles.
Enlace al producto: https://top.aibase.com/tool/illuminerf