Das Chinesische Tiny LLM (CT-LLM) ist das erste speziell für Chinesisch entwickelte große Sprachmodell. Es verfügt über 2 Milliarden Parameter und wurde mit einem chinesischen Datensatz von 1,2 Billionen Wörtern vortrainiert. CT-LLM konzentriert sich auf die Verbesserung des Verständnisses und der Generierung chinesischer Sprache. Durch das Vortraining mit umfangreichen chinesischen Daten wird eine effiziente Verarbeitung chinesischer Texte ermöglicht. Obwohl es hauptsächlich auf die chinesische Sprachverarbeitung optimiert wurde, zeigt CT-LLM auch eine gute Leistung bei der Verarbeitung von Englisch und Programmcode, was seine mehrsprachige Anpassungsfähigkeit unterstreicht. Im CHC-Bench-Benchmark-Test für chinesische Sprachfunktionen erzielte CT-LLM hervorragende Ergebnisse und bewies seine hohe Effizienz beim Verständnis und der Anwendung von Chinesisch. CT-LLM wurde von Grund auf neu trainiert, hauptsächlich mit chinesischen Daten vortrainiert, und alle relevanten Informationen, einschließlich des gesamten Datenfilterprozesses, der Trainingsdynamik, der Trainings- und Bewertungsdaten sowie der Zwischen-Checkpoints des Modells, wurden offengelegt. Dieser offene Ressourcenansatz ermöglicht es anderen Forschern und Entwicklern, auf diese Ressourcen zuzugreifen und diese Informationen für ihre eigenen Forschungsprojekte oder zur weiteren Modellverbesserung zu nutzen.