Llama-3 70B Instruct Gradient 1048k é um modelo de linguagem avançado desenvolvido pela equipe Gradient AI. Ao expandir o comprimento do contexto para mais de 1048k, ele demonstra a capacidade dos modelos de linguagem SOTA (State of the Art), após ajustes adequados, de aprender a processar textos longos. O modelo utilizou interpolação NTK-aware e tecnologia RingAttention, além da biblioteca EasyContext Blockwise RingAttention, para treinamento eficiente em clusters de computação de alto desempenho. Possui amplo potencial de aplicação em contextos comerciais e de pesquisa, especialmente em cenários que exigem processamento e geração de texto longo.