Um estudo recente mostrou que, através de treinamento especial, modelos de linguagem podem parcialmente alcançar uma capacidade de raciocínio de múltiplas etapas mais eficiente. Essa capacidade é semelhante ao "Sistema 2 de raciocínio" descrito pelo psicólogo Daniel Kahneman, ou seja, um processamento de informação lento e consciente.
Pesquisadores do Meta desenvolveram um novo método para "destilar" o processo de raciocínio de múltiplas etapas, que exige muitos recursos computacionais, em parâmetros de modelos de linguagem. Os resultados da pesquisa mostram que, em alguns casos, os modelos treinados com esse método conseguem atingir um desempenho semelhante ao do processo original de múltiplas etapas, com um custo computacional menor.
O princípio de funcionamento desse método de "destilação" é o seguinte: primeiro, aplica-se um método de raciocínio de múltiplas etapas a um grande conjunto de dados de exemplo; em seguida, filtram-se e retêm-se os resultados com alta consistência; por fim, esses dados são usados para treinar finamente o modelo de linguagem. Essencialmente, o método gera dados de treinamento sintéticos, permitindo que o modelo de linguagem chegue diretamente à conclusão sem etapas intermediárias.
Nota da fonte: A imagem foi gerada por IA, com direitos de uso fornecidos pelo Midjourney.
Os pesquisadores aplicaram esse método a quatro técnicas diferentes de raciocínio de múltiplas etapas e cinco tipos de tarefas. Os resultados mostraram que, em muitos casos, esse método melhora efetivamente o desempenho do modelo, mas não é aplicável a todos os cenários.
Por exemplo, em tarefas como evitar vieses e melhorar a qualidade das respostas, o desempenho do modelo "destilado" foi comparável ao do método de múltiplas etapas, mas com um consumo significativamente menor de recursos computacionais. No entanto, em tarefas complexas de raciocínio matemático, esse método não foi eficaz. Os pesquisadores especulam que algumas tarefas podem ser complexas demais para o raciocínio de uma única etapa.
Apesar disso, os pesquisadores acreditam que esse método oferece uma direção promissora para o desenvolvimento de sistemas de processamento de linguagem mais poderosos. No futuro, esse método poderá ser combinado com outras técnicas, focando na solução de problemas realmente desafiadores.
Esta pesquisa abre novos caminhos para melhorar a capacidade de raciocínio dos modelos de linguagem, com potencial para gerar avanços em diversas áreas de aplicação.