L'échantillonnage par distillation des scores (SDS) est une méthode récente mais déjà largement répandue, s'appuyant sur les modèles de diffusion d'images pour contrôler les problèmes d'optimisation utilisant des invites textuelles. Cet article analyse en profondeur la fonction de perte SDS, identifie des problèmes inhérents à sa formulation et propose une solution inattendue mais efficace. Plus précisément, nous décomposons la perte en différents facteurs et isolons la composante générant des gradients bruité. Dans la formulation originale, l'utilisation d'une forte guidance textuelle pour prendre en compte le bruit a entraîné des effets secondaires indésirables. Au contraire, nous entraînons un réseau peu profond qui simule le dé-bruitage insuffisant lié aux pas de temps du modèle de diffusion d'images afin de le décomposer efficacement. Nous démontrons la polyvalence et l'efficacité de notre nouvelle formulation de perte à travers plusieurs expériences qualitatives et quantitatives (incluant la synthèse et l'édition d'images basées sur l'optimisation, l'entraînement de réseaux de conversion d'images zéro-shot, et la synthèse texte-vers-3D).