Tele-FLM-1T est un modèle linguistique large multilingue open-source de 1T, basé sur une architecture Transformer décodeur uniquement, entraîné sur environ 2 T de jetons. Ce modèle affiche des performances exceptionnelles compte tenu de sa taille, surpassant parfois même des modèles plus grands. Outre les poids du modèle, nous fournissons la conception principale, les pratiques d'ingénierie et les détails de l'entraînement, dans l'espoir de contribuer aux communautés académique et industrielle.