INTELLECT-1-Instruct est un modèle linguistique de 10 milliards de paramètres entraîné par Prime Intellect, à partir de zéro, sur un trillion de jetons de texte et de code anglais. Ce modèle prend en charge la génération de texte et possède des capacités d'entraînement distribué, lui permettant un entraînement haute performance sur des travailleurs distribués globalement et peu fiables. Il a été entraîné à l'aide de l'algorithme DiLoCo et utilise un noyau int8 all-reduce personnalisé pour réduire la charge de communication, diminuant ainsi considérablement les frais généraux de communication. Les informations contextuelles indiquent que ce modèle a été entraîné grâce au soutien informatique de 30 contributeurs communautaires indépendants, sur 14 nœuds simultanés répartis sur 3 continents.