Sketch2Sound es un modelo de generación de audio capaz de crear sonidos de alta calidad a partir de un conjunto de señales de control de cambio temporal interpretables (volumen, brillo, tono) y avisos de texto. Este modelo se puede implementar en cualquier transformador de difusión potencial de texto a audio (DiT) y solo necesita un ajuste fino de 40 000 pasos y una capa lineal individual para cada control, lo que lo hace más ligero que métodos existentes como ControlNet. Las principales ventajas de Sketch2Sound incluyen la capacidad de sintetizar cualquier sonido a partir de la imitación de sonidos y la capacidad de seguir la intención general de los controles de entrada mientras se mantienen los avisos de texto de entrada y la calidad de audio. Esto permite a los artistas de sonido crear sonidos combinando la flexibilidad semántica de los avisos de texto con la expresividad y precisión de los gestos sonoros o la imitación de sonidos.