Ces dernières années, les progrès des techniques de rééclairage d'image ont bénéficié de l'utilisation d'ensembles de données à grande échelle et de modèles de diffusion pré-entraînés, rendant l'application d'un éclairage cohérent plus courante. Cependant, dans le domaine du rééclairage vidéo, les progrès ont été relativement lents en raison des coûts d'entraînement élevés et du manque de données de rééclairage vidéo diversifiées et de haute qualité. L'application simple de modèles de rééclairage d'image image par image à la vidéo entraîne plusieurs problèmes, tels que l'incohérence des sources lumineuses et de l'apparence du rééclairage, conduisant finalement à un scintillement dans la vidéo générée. Pour résoudre ce problème, l'équipe de recherche a proposé Light-A

Dans le domaine de l'intelligence artificielle, les modèles Transformer sont largement reconnus pour leurs performances exceptionnelles dans le traitement des tâches linguistiques. Une récente publication, 'Transformer Layers as Painters', explore sous un angle novateur l'architecture hiérarchique des modèles Transformer, en comparant chaque couche à un peintre qui, sur la toile linguistique, crée un texte complexe et riche. L'étude, par le biais d'expérimentations, révèle le mécanisme de fonctionnement des couches Transformer, et notamment la manière dont elles collaborent.

Une équipe de recherche propose une méthode plus simple, IllumiNeRF : elle commence par rééclairer chaque image d'entrée à l'aide d'un modèle de diffusion d'images conditionné à l'éclairage, puis utilise ces images rééclairées pour reconstruire un champ de rayonnement neuronal (NeRF), afin de restituer de nouveaux points de vue sous l'éclairage cible. Ils démontrent que cette stratégie est étonnamment compétitive et obtient des résultats de pointe dans plusieurs benchmarks de rééclairage.