Des chercheurs de Microsoft ont présenté dans un article une nouvelle méthode d'entraînement de modèles linguistiques miniatures : l'entraînement à l'aide de contes pour enfants. Cette méthode est plus rapide et son fonctionnement interne est plus facile à comprendre que l'entraînement de grands modèles linguistiques.
L'étude montre que les modèles linguistiques miniatures entraînés avec des contes pour enfants sont capables de raconter des histoires cohérentes et grammaticalement correctes, affichant d'excellentes performances. Cette méthode contribue à l'analyse du comportement des modèles linguistiques et ouvre de nouvelles pistes de recherche pour l'entraînement de modèles plus grands.
Les chercheurs expliquent que l'entraînement de modèles linguistiques miniatures est comparable au séquençage du génome de la drosophile plutôt que du génome humain ; c'est une voie efficace pour explorer les modèles linguistiques.