VideoDrafter es un framework para la generación de videos multi-escena con contenido consistente. Utiliza modelos de lenguaje de gran tamaño (LLM) para convertir indicaciones de entrada en guiones integrales que incluyen múltiples escenas. Estos guiones contienen indicaciones que describen eventos, entidades de primer plano/fondo y movimientos de cámara. VideoDrafter identifica las entidades comunes en el guion y solicita al LLM una descripción detallada de cada una. A continuación, la descripción de cada entidad se introduce en un modelo de texto a imagen para generar una imagen de referencia para cada una. Finalmente, teniendo en cuenta las imágenes de referencia, la descripción de los eventos y el movimiento de la cámara, se genera un video multi-escena mediante un proceso de difusión. El modelo de difusión procesa las imágenes de referencia como condición y las alinea para mejorar la coherencia del contenido del video multi-escena.