Modèle de diffusion ScaleLong

Des chercheurs de l'université Sun Yat-sen et d'autres institutions ont proposé le modèle de diffusion ScaleLong, soulignant que l'opération de mise à l'échelle sur les connexions de saut longues (long skip connection) du UNet peut stabiliser l'entraînement du modèle. L'étude a révélé qu'un réglage approprié du coefficient d'échelle permet d'atténuer l'instabilité des caractéristiques et d'améliorer la robustesse du modèle aux perturbations de l'entrée.

Ils ont proposé la méthode d'échelle apprenante (Learnable Scaling - LS) et la méthode d'échelle constante (Constant Scaling - CS), qui permettent d'ajuster le coefficient d'échelle de manière adaptative, stabilisant ainsi davantage l'entraînement du modèle. La visualisation des caractéristiques et des paramètres joue un rôle important dans le processus d'entraînement du modèle, tandis que le coefficient d'échelle influence l'amplitude du gradient et la stabilité des perturbations de l'entrée.