Chinese Tiny LLM（CT-LLM）是针对中文设计的首个大语言模型，拥有20亿参数，并在12000亿中文语料库上进行预训练。CT-LLM专注于提高对中文语言的理解和生成能力，利用大规模的中文数据预训练，实现对中文文本的高效处理。虽然重点优化了中文处理，CT-LLM也展示了对英文和编程代码的良好处理能力，体现了模型的多语言适应性。在中文语言任务的基准测试CHC-Bench上，CT-LLM展现了出色的性能，证明了其在理解和应用中文方面的高效能力。CT-LLM从零开始训练，主要使用中文数据进行预训练，开放了整个数据过滤过程、训练动态、训练和评估数据，以及模型的中间检查点等所有相关信息。该开放资源的做法使得其他研究者、开发者能够访问这些资源，利用这些资料进行自己的研究或进一步改进模型。