Pesquisadores da Microsoft apresentaram em um artigo uma nova maneira de treinar modelos de linguagem pequenos: usando histórias infantis. Em comparação com o treinamento de modelos de linguagem grandes, este método é mais rápido e seu mecanismo interno é mais fácil de entender. Estudos mostram que modelos de linguagem pequenos treinados com histórias infantis conseguem narrar histórias coerentes e gramaticalmente corretas, apresentando um desempenho excelente.
Este método ajuda a analisar o comportamento dos modelos de linguagem e também fornece uma direção de pesquisa para o treinamento de modelos maiores. Os pesquisadores afirmam que treinar modelos de linguagem pequenos é como sequenciar o genoma da mosca-da-fruta em vez do genoma humano, sendo uma maneira eficaz de explorar modelos de linguagem.
