GameNGen est un moteur de jeu entièrement piloté par un modèle neuronal, capable d'interagir en temps réel avec des environnements complexes et de maintenir une haute qualité sur de longues séquences. Il peut simuler interactivement le jeu classique DOOM à plus de 20 images par seconde, avec un PSNR de prédiction de l'image suivante atteignant 29,4, comparable à la compression JPEG avec perte. Les évaluateurs humains ne sont que légèrement meilleurs qu'au hasard pour distinguer les séquences de jeu réelles des séquences simulées. GameNGen est entraîné en deux phases : (1) un agent RL apprend à jouer au jeu et enregistre les actions et les observations des sessions d'entraînement, qui servent de données d'entraînement pour le modèle génératif ; (2) un modèle de diffusion est entraîné pour prédire l'image suivante, conditionnellement à la séquence passée d'actions et d'observations. L'augmentation conditionnelle permet une génération autorégressive stable sur de longues séquences.