Sketch2Sound est un modèle générateur d'audio capable de créer des sons de haute qualité à partir d'un ensemble de signaux de contrôle temporels interprétables (volume, luminosité, hauteur) et d'invites textuelles. Ce modèle peut être implémenté sur n'importe quel transformateur de diffusion potentiel texte-audio (DiT) et ne nécessite que 40 000 étapes d'ajustement fin et une couche linéaire distincte par contrôle, le rendant plus léger que les méthodes existantes telles que ControlNet. Les principaux avantages de Sketch2Sound incluent la capacité de synthétiser des sons arbitraires à partir d'imitations sonores et de suivre l'intention générale des contrôles d'entrée tout en maintenant les invites textuelles et la qualité audio. Cela permet aux artistes sonores de combiner la flexibilité sémantique des invites textuelles avec le pouvoir expressif et la précision des gestes sonores ou de l'imitation sonore pour créer des sons.