GameNGenは、ニューラルモデルによって完全に駆動されるゲームエンジンです。複雑な環境とのリアルタイムインタラクションを実現し、長時間の軌跡においても高画質を維持します。古典的なゲーム『DOOM』を1秒間に20フレームを超える速度でインタラクティブにシミュレートすることができ、次フレーム予測のPSNRは29.4に達し、これは非可逆JPEG圧縮と同等です。人間の評価者は、ゲームの断片とシミュレーションの断片を区別する際に、ランダムな偶然よりもわずかに優れているに過ぎません。GameNGenは2段階のトレーニングによって実現されます。(1) RLエージェントがゲームをプレイし、トレーニングセッションのアクションと観測結果を記録して、生成モデルのトレーニングデータとします。(2) 拡散モデルをトレーニングして、過去のアクションと観測シーケンスを条件として、次フレームを予測します。条件付き強化により、長時間の軌跡において安定した自己回帰生成が可能になります。