Investigadores de Microsoft presentaron en un artículo un nuevo método para entrenar modelos de lenguaje pequeños: utilizando cuentos infantiles. Este método resulta significativamente más rápido y su funcionamiento interno es más fácil de comprender que el entrenamiento de modelos de lenguaje grandes.
Los estudios demuestran que los modelos de lenguaje pequeños entrenados con cuentos infantiles son capaces de narrar historias coherentes y gramaticalmente correctas, mostrando un rendimiento excelente. Este método facilita el análisis del comportamiento de los modelos de lenguaje y proporciona nuevas vías de investigación para el entrenamiento de modelos más grandes.
Los investigadores afirman que entrenar modelos de lenguaje pequeños es como secuenciar el genoma de la mosca de la fruta en lugar del genoma humano; una vía eficaz para explorar los modelos de lenguaje.
