Récemment, une équipe de recherche a publié une nouvelle technique de sur-résolution d'image (SR) basée sur l'inversion de diffusion. Elle vise à améliorer la résolution et la netteté des images en exploitant pleinement les informations a priori sur les images contenues dans les grands modèles de diffusion pré-entraînés. Cette recherche est le fruit d'une collaboration entre trois chercheurs de différentes institutions académiques, dont l'objectif est de faire progresser le domaine de la sur-résolution d'images.
Dans cette technique, les chercheurs ont conçu une stratégie appelée « Prédiction de bruit partielle » (Partial noise Prediction). Cette stratégie utilise un état intermédiaire du modèle de diffusion comme point de départ de l'échantillonnage. Cette méthode principale repose sur un prédicteur de bruit profond capable de fournir la meilleure carte de bruit pour le processus de diffusion direct. Après l'entraînement, ce prédicteur de bruit peut initialiser partiellement le processus d'échantillonnage et générer des images haute résolution le long de la trajectoire de diffusion.
Comparée aux méthodes de sur-résolution existantes, cette technique offre un mécanisme d'échantillonnage plus flexible et efficace, capable de prendre en charge un nombre quelconque de pas d'échantillonnage, de un à cinq. Il est remarquable que même avec un seul pas d'échantillonnage, cette nouvelle méthode surpasse ou égale les techniques les plus avancées actuelles.
L'équipe de recherche fournit également des instructions d'utilisation et des guides de formation détaillés, incluant l'environnement logiciel et matériel requis, les liens de téléchargement du modèle et la manière d'exécuter le programme avec des ressources GPU limitées. Ces informations aideront les chercheurs et les développeurs à mieux utiliser cette technique pour leurs travaux de sur-résolution d'images.
L'équipe a également mis en place une plateforme de démonstration en ligne permettant aux utilisateurs de découvrir cette technologie innovante de manière intuitive. Des liens vers des ensembles de données synthétiques et réelles pour valider les résultats de la recherche sont également disponibles. Les chercheurs espèrent que cette technique offrira des solutions plus efficaces et plus nettes pour les applications pratiques de la sur-résolution d'images.
Accès au projet : https://github.com/zsyOAOA/InvSR?tab=readme-ov-file
Démo : https://huggingface.co/spaces/OAOA/InvSR
Points clés :
🌟 Cette nouvelle technique, basée sur l'inversion de diffusion, améliore efficacement la résolution des images.
🔍 Elle utilise une stratégie de « prédiction de bruit partielle », supportant de manière flexible différentes étapes d'échantillonnage.
💻 Des instructions d'utilisation détaillées et une démonstration en ligne facilitent l'utilisation et l'expérience utilisateur.