RecurrentGPT est un modèle permettant de générer interactivement des textes de longueur quelconque. Il simule un mécanisme récursif grâce à l'ingénierie des invites, en remplaçant les éléments vectorisés des réseaux neuronaux récurrents à long et court terme (LSTM) par du langage naturel (c'est-à-dire des paragraphes de texte). À chaque pas de temps, RecurrentGPT reçoit un paragraphe de texte et un bref plan pour le paragraphe suivant, tous deux générés à l'étape précédente. Il maintient également une mémoire à court terme, résumant les informations clés des étapes récentes et mise à jour à chaque pas de temps. RecurrentGPT combine toutes les entrées en une invite pour demander au modèle linguistique de base de générer un nouveau paragraphe, un bref plan pour le paragraphe suivant et de mettre à jour la mémoire à court terme.