Récemment, des chercheurs de Google Research et de l'Université de l'Illinois à Urbana-Champaign ont publié leurs travaux de recherche intitulés « Rééclairage 3D sans rendu inverse ». Cette étude explore une méthode de synthèse de vues re-éclairées permettant de reconstruire une représentation 3D restituable sous un éclairage cible à partir d'un ensemble d'images d'objets prises dans des conditions d'éclairage inconnues.
Les méthodes traditionnelles reposent sur le rendu inverse, tentant de séparer la géométrie, les matériaux et l'éclairage des objets qui expliquent les images d'entrée. Cependant, cela implique généralement une optimisation par rendu Monte-Carlo différentiable, ce qui est fragile et coûteux en calcul.
Par conséquent, l'équipe de recherche propose une méthode plus simple, IllumiNeRF : elle re-éclaire d'abord chaque image d'entrée à l'aide d'un modèle de diffusion d'images conditionné à l'éclairage, puis utilise ces images re-éclairées pour reconstruire un champ de rayonnement neuronal (NeRF), permettant ainsi de restituer de nouveaux points de vue sous l'éclairage cible. Ils ont démontré que cette stratégie est étonnamment compétitive et a obtenu des résultats de pointe dans plusieurs tests de référence de re-éclairage.
Fonctionnement détaillé :
Étant donné un ensemble d'images et de poses de caméra (a), les chercheurs exécutent NeRF pour extraire la géométrie 3D, comme indiqué en (b) ;
Sur la base de cette géométrie et de l'éclairage cible indiqué en (c), des indices de rayonnement sont créés pour chaque vue d'entrée donnée, comme indiqué en (d) ;
Ensuite, en utilisant le modèle de diffusion de re-éclairage illustré en (e) et les échantillons S de solutions possibles pour chaque image donnée affichées en (f), chaque image d'entrée est re-éclairée indépendamment ;
Enfin, l'ensemble d'images re-éclairées est affiné en une représentation 3D par optimisation NeRF latente, comme indiqué en (g) et (h).
Re-éclairage 3D cohérent
La première ligne montre les rendus du NeRF latent final ;
La deuxième ligne montre les échantillons de diffusion des vues d'entraînement les plus proches correspondant à chaque image rendue en haut.
Ce produit peut être appliqué dans les domaines de l'infographie, de la réalité augmentée et de la réalité virtuelle. Par exemple, dans la production cinématographique, il peut être utilisé pour restituer des scènes 3D sous différentes conditions d'éclairage, ce qui permet de réduire les coûts et le temps de tournage. Dans les applications de réalité virtuelle, les utilisateurs peuvent explorer des scènes virtuelles sous différents environnements d'éclairage, améliorant ainsi le réalisme et l'immersion. De plus, ce produit peut être utilisé dans les domaines de la création artistique numérique et de la conception architecturale, offrant aux utilisateurs une plus grande flexibilité dans la représentation et le rendu de l'éclairage.
Accès au produit : https://top.aibase.com/tool/illuminerf