SparseCtrl a été développé pour améliorer le contrôle de la génération de vidéos à partir de texte. Il permet une intégration flexible de signaux clairsemés pour un contrôle structurel, ne nécessitant qu'une ou quelques entrées. Il comprend un encodeur conditionnel supplémentaire pour traiter ces signaux clairsemés, sans affecter le modèle texte-vers-vidéo pré-entraîné. Cette méthode est compatible avec diverses formes, incluant les croquis, les images de profondeur et les images RGB, offrant un contrôle plus pratique de la génération vidéo et stimulant des applications telles que les storyboards, le rendu en profondeur, l'animation par images clés et l'interpolation. De nombreuses expériences ont démontré les capacités de généralisation de SparseCtrl sur les générateurs texte-vers-vidéo originaux et personnalisés.