LongLLaMA ist ein großes Sprachmodell, das die Verarbeitung langer Texte ermöglicht. Es basiert auf OpenLLaMA und wurde mit der Focused Transformer (FoT)-Methode feinabgestimmt. Es kann Texte mit bis zu 256.000 Token oder sogar mehr verarbeiten. Wir stellen ein kleineres 3B-Basismodell (ohne Anweisungsanpassung) bereit und bieten auf Hugging Face Code für Inferenz mit längerem Kontext. Unsere Modellgewichte können als Ersatz für LLaMA in bestehenden Implementierungen verwendet werden (für kurze Kontexte mit maximal 2048 Token). Darüber hinaus stellen wir Evaluierungsergebnisse und einen Vergleich mit dem ursprünglichen OpenLLaMA-Modell zur Verfügung.