Chinese Tiny LLM (CT-LLM) es el primer modelo de lenguaje grande diseñado para el chino, con 2 mil millones de parámetros y preentrenado en un corpus de 1.2 billones de palabras en chino. CT-LLM se centra en mejorar la comprensión y generación del lenguaje chino, utilizando el preentrenamiento con datos masivos en chino para lograr un procesamiento eficiente de textos en chino. Aunque está optimizado principalmente para el procesamiento en chino, CT-LLM también muestra una buena capacidad de procesamiento del inglés y código de programación, demostrando su adaptabilidad multilingüe. En el benchmark CHC-Bench para tareas de lenguaje chino, CT-LLM muestra un rendimiento excepcional, lo que demuestra su alta eficiencia en la comprensión y aplicación del chino. CT-LLM se entrenó desde cero, utilizando principalmente datos en chino para el preentrenamiento, y se ha abierto todo el proceso de filtrado de datos, la dinámica del entrenamiento, los datos de entrenamiento y evaluación, y todos los puntos de control intermedios del modelo. Esta apertura de recursos permite a otros investigadores y desarrolladores acceder a estos recursos y utilizarlos para sus propias investigaciones o para mejorar aún más el modelo.