Tele-FLM (también conocido como FLM-2) es un modelo de lenguaje extenso multilingüe de código abierto con 52 000 millones de parámetros, que cuenta con un paradigma de preentrenamiento estable y eficiente, y una capacidad mejorada de juicio de hechos. Basado en una arquitectura de transformador de decodificador únicamente, se ha entrenado en aproximadamente 2 T de tokens. Tele-FLM muestra un rendimiento superior en modelos de igual escala, a veces incluso superando a modelos más grandes. Además de compartir los pesos del modelo, también proporcionamos el diseño principal, las prácticas de ingeniería y los detalles del entrenamiento, con la esperanza de que sean beneficiosos para las comunidades académicas e industriales.