O Chinese Tiny LLM (CT-LLM) é o primeiro modelo de linguagem grande projetado para chinês, com 2 bilhões de parâmetros e pré-treinado em um corpus de 1,2 trilhão de palavras em chinês. O CT-LLM se concentra em melhorar a compreensão e a capacidade de geração de linguagem chinesa, utilizando o pré-treinamento em um grande conjunto de dados em chinês para processar textos chineses de forma eficiente. Embora otimizado principalmente para o processamento de chinês, o CT-LLM também demonstra boa capacidade de processamento de inglês e código de programação, mostrando sua adaptabilidade multilíngue. No benchmark CHC-Bench para tarefas de linguagem chinesa, o CT-LLM apresentou desempenho excepcional, demonstrando sua alta eficiência na compreensão e aplicação do chinês. O CT-LLM foi treinado do zero, principalmente usando dados em chinês para pré-treinamento, e tornou público todo o processo de filtragem de dados, a dinâmica de treinamento, os dados de treinamento e avaliação, e os checkpoints intermediários do modelo, entre outras informações relevantes. Essa iniciativa de código aberto permite que outros pesquisadores e desenvolvedores acessem esses recursos e utilizem esses dados em suas próprias pesquisas ou para melhorar ainda mais o modelo.