Recentemente, pesquisadores do Google e da Universidade de Illinois em Urbana-Champaign publicaram um estudo intitulado "Reiluminação 3D sem renderização inversa". Este estudo explora um método de síntese de visualizações reilumináveis que recupera uma representação 3D capaz de renderizar novos pontos de vista sob iluminação de destino, usando um conjunto de imagens de objetos sob condições de iluminação desconhecidas.
Métodos tradicionais são baseados em renderização inversa, tentando separar a geometria, o material e a iluminação do objeto que explicam as imagens de entrada. No entanto, isso geralmente envolve otimização por meio de renderização Monte Carlo diferenciável, sendo frágil e computacionalmente caro.
Portanto, a equipe de pesquisa propôs um método mais simples, IllumiNeRF: primeiro, reilumina cada imagem de entrada usando um modelo de difusão de imagem condicionado à iluminação, e então usa essas imagens reiluminadas para reconstruir um campo de radiação neural (NeRF), permitindo assim a renderização de novos pontos de vista sob a iluminação de destino. Eles demonstraram que essa estratégia é surpreendentemente competitiva e alcançou resultados de última geração em vários benchmarks de reiluminação.
Como funciona na prática:
Dada um conjunto de imagens e poses de câmera em (a), os pesquisadores executam o NeRF para extrair a geometria 3D, como mostrado em (b);
Com base nessa geometria e na iluminação de destino mostrada em (c), são criadas dicas de radiação para cada vista de entrada dada, como mostrado em (d);
Em seguida, usando o modelo de difusão de reiluminação mostrado em (e) e amostrando S possíveis soluções para cada imagem de entrada dada, como mostrado em (f), cada imagem de entrada é reiluminada independentemente;
Finalmente, o conjunto de imagens reiluminadas é refinado em uma representação 3D por meio de otimização NeRF latente, como mostrado em (g) e (h).
Reiluminação 3D consistente
A primeira linha mostra as imagens renderizadas do NeRF latente final;
A segunda linha mostra as amostras de difusão das visualizações de treinamento mais próximas correspondentes a cada quadro renderizado no topo.
Este produto pode ser aplicado em computação gráfica, realidade aumentada e realidade virtual. Por exemplo, na produção cinematográfica, pode ser usado para renderizar cenas 3D sob diferentes condições de iluminação, economizando custos e tempo de filmagem. Em aplicações de realidade virtual, os usuários podem experimentar cenas virtuais em diferentes ambientes de iluminação, aumentando o realismo e a imersão. Além disso, este produto pode ser usado em criação de arte digital e design de arquitetura, oferecendo aos usuários uma representação e efeitos de iluminação mais flexíveis.
Acesso ao produto: https://top.aibase.com/tool/illuminerf