WorldDreamer ist ein innovatives Modell zur Videogenerierung, das die Dynamik der Welt versteht und simuliert, indem es maskierte visuelle Token vorhersagt. Es zeichnet sich in verschiedenen Bereichen aus, darunter Bild-zu-Video-Synthese, Text-zu-Video-Generierung, Videoreparatur, Videostyling und Bewegungs-zu-Video-Generierung. Das Modell greift auf die erfolgreichen Erfahrungen großer Sprachmodelle zurück und betrachtet die Weltmodellierung als eine unüberwachte Herausforderung der visuellen Sequenzmodellierung. Dies wird erreicht, indem visuelle Eingaben auf diskrete Token abgebildet und maskierte Token vorhergesagt werden.