SpacTor est une nouvelle procédure d'entraînement intégrant (1) un objectif mixte combinant la perturbation de paragraphe (SC) et la détection de remplacement de jetons (RTD), et (2) un programme en deux phases qui optimise l'objectif mixte pendant les τ premières itérations, puis passe à la perte SC standard. Nous avons mené des expériences sur plusieurs tâches de PNL, en utilisant une architecture encodeur-décodeur (T5). SpacTor-T5 obtient des performances en aval comparables à celles du pré-entraînement SC standard, tout en réduisant de 50 % le nombre d'itérations de pré-entraînement et de 40 % le nombre total de FLOPs. De plus, avec le même budget de calcul, nous avons constaté que SpacTor permettait d'améliorer significativement les performances des benchmarks en aval.