O GameGen-X é um modelo de transformação de difusão projetado especificamente para gerar e interagir com o controle de vídeos de jogos do mundo aberto. O modelo simula várias características de um mecanismo de jogo, como personagens inovadores, ambientes dinâmicos, ações complexas e eventos diversos, permitindo a geração de vídeos de alta qualidade em um ambiente aberto. Além disso, ele oferece recursos de controle interativo, capazes de prever e alterar o conteúdo futuro com base no fragmento de vídeo atual, simulando assim a jogabilidade. Para alcançar essa visão, começamos do zero coletando e construindo um conjunto de dados de videogame de mundo aberto (OGameData), o primeiro e maior conjunto de dados para geração e controle de vídeo de jogo de mundo aberto, contendo mais de 1 milhão de fragmentos de vídeo de jogos diversificados de mais de 150 jogos, todos com legendas informativas do GPT-4. O GameGen-X passou por um processo de treinamento em duas fases, incluindo pré-treinamento do modelo base e ajuste de instruções. Primeiramente, o modelo foi pré-treinado por meio da geração de vídeo a partir de texto e continuação de vídeo, o que lhe conferiu a capacidade de gerar vídeos de jogos de alta qualidade e de longa sequência em um ambiente aberto. Além disso, para implementar a capacidade de controle interativo, projetamos o InstructNet para integrar especialistas em sinais de controle multimodais relacionados a jogos. Isso permite que o modelo ajuste a representação latente com base na entrada do usuário, unificando pela primeira vez o controle da interação do personagem e do conteúdo da cena na geração de vídeo. Durante o ajuste fino das instruções, somente o InstructNet foi atualizado, enquanto o modelo base pré-treinado foi congelado, garantindo que a integração da capacidade de controle interativo não comprometesse a diversidade e a qualidade do conteúdo do vídeo gerado. O GameGen-X representa um grande avanço no uso de modelos generativos para o design de videogames de mundo aberto. Ele demonstra o potencial dos modelos generativos como ferramentas auxiliares para as tecnologias de renderização tradicionais, combinando efetivamente a geração criativa com a capacidade interativa.