Según un informe de Zhanzhang Zhijia, el equipo de Colossal-AI entrenó un modelo de lenguaje grande (LLM) en chino basado en LLaMA2 con 8.500 millones de parámetros en tan solo 15 horas y con un coste de unos pocos miles de yuanes. Esto se logró mediante la ampliación del vocabulario, el filtrado de datos y una estrategia de entrenamiento multifásica.
Esta solución de bajo coste permite que la versión china de LLaMA2 alcance o supere el rendimiento de modelos de tamaño similar en varias tareas en chino. Todo el proceso de entrenamiento, el código y los pesos se han publicado como código abierto, facilitando su adaptación a otros idiomas y dominios, lo que permite la creación rápida y económica de grandes modelos. Esta solución ya ha demostrado buenos resultados en diversos sectores.
