Le Petit Modèle Linguistique Chinois (CT-LLM) est le premier grand modèle linguistique conçu pour le chinois. Comprenant 2 milliards de paramètres, il a été pré-entraîné sur une corpus de 1 200 milliards de mots en chinois. Le CT-LLM se concentre sur l'amélioration de la compréhension et de la génération du langage chinois, exploitant un pré-entraînement sur des données chinoises à grande échelle pour un traitement efficace des textes chinois. Bien qu'optimisé principalement pour le chinois, le CT-LLM démontre également une bonne capacité de traitement de l'anglais et des codes de programmation, témoignant de son adaptabilité multilingue. Sur CHC-Bench, un benchmark de tâches linguistiques chinoises, le CT-LLM a présenté des performances exceptionnelles, prouvant son efficacité dans la compréhension et l'application du chinois. Entraîné de zéro, principalement avec des données chinoises, le CT-LLM rend publiques toutes les informations pertinentes : processus de filtrage des données, dynamique d'entraînement, données d'entraînement et d'évaluation, et points de contrôle intermédiaires du modèle. Cette approche open-source permet aux chercheurs et développeurs d'accéder à ces ressources pour mener leurs propres recherches ou améliorer le modèle.