DiPIR est une technologie innovante visant à résoudre le problème de l'insertion transparente d'objets virtuels dans des scènes réelles. En combinant des modèles de diffusion à grande échelle et un processus de rendu inverse basé sur la physique, elle récupère avec précision les informations d'éclairage de la scène à partir d'une seule image, permettant une fusion naturelle entre l'objet virtuel et l'environnement. Le processus de DiPIR comprend la construction d'une scène 3D virtuelle, la simulation de l'interaction entre l'objet et l'environnement, et l'optimisation des conditions d'éclairage via un modèle de diffusion pour garantir que l'image générée correspond à la scène réelle. Son avantage réside dans sa grande adaptabilité, car elle convient à des scènes aux conditions d'éclairage variées et produit des images réalistes.

Une équipe de recherche propose une méthode plus simple, IllumiNeRF : elle commence par rééclairer chaque image d'entrée à l'aide d'un modèle de diffusion d'images conditionné à l'éclairage, puis utilise ces images rééclairées pour reconstruire un champ de rayonnement neuronal (NeRF), afin de restituer de nouveaux points de vue sous l'éclairage cible. Ils démontrent que cette stratégie est étonnamment compétitive et obtient des résultats de pointe dans plusieurs benchmarks de rééclairage.