GameGen-X es un modelo de difusión transformacional diseñado para generar e interactuar con videos de videojuegos de mundo abierto. El modelo simula diversas características de un motor de videojuegos, como personajes innovadores, entornos dinámicos, acciones complejas y eventos variados, logrando la generación de videos de alta calidad en mundos abiertos. Además, ofrece capacidad de control interactivo, pudiendo predecir y modificar el contenido futuro basándose en el fragmento de video actual, simulando así la jugabilidad. Para lograr esta visión, comenzamos recopilando y construyendo desde cero un conjunto de datos de videojuegos de mundo abierto (OGameData), el primero y más grande conjunto de datos para la generación y el control de videos de videojuegos de mundo abierto, que contiene más de un millón de fragmentos de video de juegos diversos de más de 150 juegos, todos ellos con subtítulos informativos de GPT-4. GameGen-X ha pasado por un proceso de entrenamiento de dos fases: preentrenamiento del modelo base y ajuste de instrucciones. Primero, el modelo se preentrena mediante la generación de video a partir de texto y la continuación de videos, dotándolo de la capacidad de generar videos de juegos de mundo abierto de larga secuencia y alta calidad. Además, para lograr la capacidad de control interactivo, diseñamos InstructNet para integrar expertos en señales de control multimodales relacionadas con el juego. Esto permite que el modelo ajuste las representaciones latentes según la entrada del usuario, unificando por primera vez el control de la interacción del personaje y el contenido de la escena en la generación de video. Durante el ajuste de instrucciones, solo se actualizó InstructNet, mientras que el modelo base preentrenado se mantuvo congelado, de modo que la integración de la capacidad de control interactivo no disminuyó la diversidad ni la calidad del contenido del video generado. GameGen-X representa un gran avance en el uso de modelos generativos para el diseño de videojuegos de mundo abierto. Demuestra el potencial de los modelos generativos como herramientas auxiliares de las técnicas de renderizado tradicionales, combinando eficazmente la generación creativa con la capacidad de interacción.