StreamingLLM est un modèle linguistique performant capable de traiter des entrées de longueur infinie sans compromettre l'efficacité ni les performances. Il conserve les jetons et le pool d'attention les plus récents, en supprimant les jetons intermédiaires. Cela permet au modèle de générer du texte cohérent à partir des jetons les plus récents, sans nécessiter de réinitialisation du cache. L'avantage de StreamingLLM réside dans sa capacité à générer des réponses à partir du contexte de conversation le plus récent sans avoir besoin de rafraîchir le cache ou de dépendre des données passées.