PromptFix est un framework complet permettant aux modèles de diffusion de réaliser diverses tâches de traitement d'images en suivant les instructions humaines. Ce framework, grâce à la création d'un vaste ensemble de données basé sur des instructions, propose une méthode d'échantillonnage guidé à haute fréquence pour contrôler le processus de débruitage et conçoit un adaptateur d'invite auxiliaire pour améliorer les invites textuelles à l'aide de modèles de langage visuel, augmentant ainsi la capacité de généralisation des tâches du modèle. PromptFix surpasse les méthodes précédentes dans diverses tâches de traitement d'images et affiche d'excellentes capacités zéro-shot dans les tâches de restauration aveugle et de composition.