Llama-3 70B Instruct Gradient 1048k ist ein fortschrittliches Sprachmodell des Gradient AI-Teams. Durch die Erweiterung der Kontextlänge auf über 1048k demonstriert es die Fähigkeit von SOTA (State of the Art) Sprachmodellen, nach geeigneter Anpassung lange Texte zu verarbeiten. Das Modell nutzt NTK-aware Interpolation und RingAttention-Technologie sowie die EasyContext Blockwise RingAttention-Bibliothek für ein effizientes Training auf Hochleistungs-Rechenclustern. Es bietet ein breites Anwendungspotenzial in kommerziellen und Forschungskontexten, insbesondere bei der Verarbeitung und Generierung langer Texte.