StreamingLLM ist ein effizientes Sprachmodell, das Eingaben unbegrenzter Länge verarbeiten kann, ohne Einbußen bei Effizienz und Leistung. Durch das Beibehalten der letzten Token und des Attention-Pools und das Verwerfen von Zwischen-Token kann das Modell kohärenten Text aus den letzten Token generieren, ohne einen Cache-Reset zu benötigen. Der Vorteil von StreamingLLM liegt in der Möglichkeit, Antworten aus dem letzten Gespräch zu generieren, ohne den Cache aktualisieren zu müssen und ohne auf vergangene Daten angewiesen zu sein.