O INTELLECT-1-Instruct é um modelo de linguagem de 1 bilhão de parâmetros treinado pela Prime Intellect, treinado do zero em 1 trilhão de tokens de texto e código em inglês. O modelo suporta geração de texto e possui capacidade de treinamento distribuído, permitindo treinamento de alto desempenho em trabalhadores distribuídos globalmente e não confiáveis. Ele foi treinado usando o algoritmo DiLoCo e utiliza um núcleo int8 all-reduce personalizado para reduzir a carga de comunicação, diminuindo significativamente o custo de comunicação. As informações de contexto deste modelo mostram que ele foi treinado com o suporte computacional de 30 colaboradores independentes da comunidade, em 14 nós concorrentes em 3 continentes.