GameGen-X ist ein diffusionsbasiertes Transformationsmodell, das speziell für die Generierung und interaktive Steuerung von Open-World-Spielvideos entwickelt wurde. Das Modell simuliert diverse Eigenschaften von Spiel-Engines, wie innovative Charaktere, dynamische Umgebungen, komplexe Aktionen und vielfältige Ereignisse, und ermöglicht so die Erzeugung hochwertiger Videos in offenen Umgebungen. Darüber hinaus bietet es interaktive Steuerungsmöglichkeiten, indem es zukünftige Inhalte basierend auf aktuellen Videoclips vorhersagt und verändert, um die Simulation des Spielablaufs zu ermöglichen. Um diese Vision zu verwirklichen, haben wir zunächst von Grund auf einen Datensatz für Open-World-Spielvideos (OGameData) gesammelt und erstellt. Dies ist der erste und größte Datensatz für die Generierung und Steuerung von Open-World-Spielvideos und enthält über 1 Million diverse Videoclips aus über 150 Spielen, die alle mit informativen Untertiteln von GPT-4 versehen sind. GameGen-X durchlief einen zweistufigen Trainingsprozess, der aus dem Vortraining des Basismodells und der Instruktionsfeinabstimmung besteht. Zunächst wurde das Modell durch Text-zu-Video-Generierung und Video-Fortsetzungen vortrainiert, wodurch es die Fähigkeit erlangte, lange Sequenzen hochwertiger Open-World-Spielvideos zu generieren. Um die interaktive Steuerung zu ermöglichen, haben wir InstructNet entwickelt, um spielbezogene multimodale Steuerungssignalexperten zu integrieren. Dies ermöglicht es dem Modell, die latente Repräsentation basierend auf Benutzereingaben anzupassen und erstmals in der Videogenerierung die Interaktion von Charakteren und die Steuerung von Szeneninhalten zu vereinheitlichen. Während der Instruktionsfeinabstimmung wurde nur InstructNet aktualisiert, während das vortrainierte Basismodell eingefroren blieb, sodass die Integration der interaktiven Steuerung nicht zu einem Verlust der Diversität und Qualität der generierten Videoinhalte führt. GameGen-X stellt einen bedeutenden Fortschritt bei der Entwicklung von Open-World-Videospielen mit generativen Modellen dar. Es zeigt das Potenzial generativer Modelle als unterstützende Werkzeuge für traditionelle Rendering-Techniken und verbindet effektiv kreative Generierung mit interaktiven Fähigkeiten.