Des scientifiques ont réussi à entraîner un modèle de langage du niveau de ChatGPT en utilisant la super-calculatrice la plus puissante au monde, et ce, avec seulement 8 % de sa capacité de calcul. Cette avancée majeure provient du Laboratoire national d'Oak Ridge. L'équipe de recherche a employé des techniques innovantes sur le supercalculateur Frontier pour entraîner un modèle linguistique comportant un trillion de paramètres.
Grâce à l'entraînement distribué et aux techniques de calcul parallèle, une efficacité d'échelle faible à 100 % a été atteinte. Cependant, l'entraînement de grands modèles linguistiques reste un défi, notamment en ce qui concerne les problèmes de mémoire.
Cette recherche fournit des enseignements précieux pour l'entraînement futur de modèles linguistiques gigantesques, soulignant le rôle crucial de l'entraînement distribué et du calcul parallèle.
