VideoDrafter ist ein Framework zur Erzeugung konsistenter Videos mit mehreren Szenen. Es nutzt ein großes Sprachmodell (LLM), um Eingabeaufforderungen in ein umfassendes Skript mit mehreren Szenen umzuwandeln. Das Skript enthält Hinweise zur Beschreibung von Ereignissen, Vordergrund-/Hintergrundobjekten und Kamerabwegungen. VideoDrafter erkennt gemeinsame Objekte im Skript und fordert das LLM auf, jedes Objekt detailliert zu beschreiben. Die Beschreibung jedes Objekts wird dann in ein Text-zu-Bild-Modell eingegeben, um Referenzbilder für jedes Objekt zu generieren. Schließlich wird durch einen Diffusionsprozess ein mehrszügiges Video generiert, wobei das Diffusionsmodell die Referenzbilder als Bedingung und Ausrichtung verwendet, um die Konsistenz des mehrszügigen Videos zu verbessern.