W.A.L.T est une méthode de génération de vidéos réalistes basée sur un transformateur. Elle permet une formation et une génération intermodales en compressant conjointement les images et les vidéos dans un espace latent unifié. Elle utilise un mécanisme d'attention fenêtré pour améliorer l'efficacité de la mémoire et de l'entraînement. Cette méthode a atteint des performances de pointe sur plusieurs benchmarks de génération d'images et de vidéos.