PromptFix é um framework abrangente que permite que modelos de difusão sigam instruções humanas para executar diversas tarefas de processamento de imagens. O framework constrói um conjunto de dados em larga escala de instruções a serem seguidas, propondo um método de amostragem guiada de alta frequência para controlar o processo de denoising, e um adaptador de prompt auxiliar para otimizar as instruções de texto usando modelos de linguagem visual, melhorando a capacidade de generalização de tarefas do modelo. O PromptFix supera métodos anteriores em várias tarefas de processamento de imagens e demonstra capacidade zero-shot superior em tarefas de restauração cega e composição.