Tele-FLM (également appelé FLM-2) est un modèle linguistique large multilingue open source de 52 milliards de paramètres, doté d'un paradigme d'entraînement pré-entraîné stable et efficace et d'une capacité améliorée de jugement factuel. Basé sur une architecture de transformateur à décodeur uniquement, il a été entraîné sur environ 2 To de jetons. Tele-FLM affiche des performances supérieures à celles des modèles de taille comparable, dépassant parfois même les modèles plus grands. Outre le partage des poids du modèle, nous fournissons également les détails de la conception principale, des pratiques d'ingénierie et de l'entraînement, dans l'espoir qu'ils profiteront à la fois aux milieux académiques et industriels.