GameGen-X est un modèle de diffusion transformateur spécialement conçu pour la génération et le contrôle interactif de vidéos de jeux vidéo en monde ouvert. Ce modèle génère des vidéos de haute qualité en monde ouvert en simulant diverses caractéristiques des moteurs de jeu, telles que des personnages innovants, des environnements dynamiques, des actions complexes et des événements variés. De plus, il offre des capacités de contrôle interactif, permettant de prédire et de modifier le contenu futur en fonction du segment vidéo actuel, simulant ainsi le gameplay. Pour atteindre cet objectif, nous avons commencé par collecter et construire à partir de zéro un jeu de données de vidéos de jeux vidéo en monde ouvert (OGameData), le premier et le plus grand jeu de données de génération et de contrôle de vidéos de jeux vidéo en monde ouvert, contenant plus d'un million de segments de vidéos de jeux variés issus de plus de 150 jeux, tous dotés de sous-titres informatifs GPT-4o. GameGen-X a subi un processus d'entraînement en deux phases : pré-entraînement du modèle de base et réglage par instructions. Premièrement, le modèle a été pré-entraîné par la génération de vidéo à partir de texte et la continuation de vidéo, lui conférant la capacité de générer des vidéos de jeux en monde ouvert de haute qualité et de longues séquences. Ensuite, pour permettre le contrôle interactif, nous avons conçu InstructNet pour intégrer des experts de signaux de contrôle multimodaux liés au jeu. Cela permet au modèle d'ajuster les représentations latentes en fonction des entrées de l'utilisateur, unifiant pour la première fois le contrôle de l'interaction des personnages et du contenu de la scène dans la génération de vidéos. Durant le réglage par instructions, seul InstructNet a été mis à jour, tandis que le modèle de base pré-entraîné a été figé, de sorte que l'intégration du contrôle interactif ne compromet pas la diversité et la qualité du contenu vidéo généré. GameGen-X représente un bond en avant significatif dans l'utilisation des modèles génératifs pour la conception de jeux vidéo en monde ouvert. Il démontre le potentiel des modèles génératifs comme outils supplémentaires aux techniques de rendu traditionnelles, combinant efficacement la génération créative et les capacités interactives.