Un estudio reciente demuestra que, mediante un entrenamiento especial, los modelos de lenguaje pueden lograr una capacidad de razonamiento de múltiples pasos más eficiente. Esta capacidad se asemeja al "Sistema 2 de razonamiento" descrito por el psicólogo Daniel Kahneman, un proceso de procesamiento de información lento y consciente.
Investigadores de Meta han desarrollado un nuevo método para "destilar" el proceso computacionalmente intensivo de razonamiento de múltiples pasos en los parámetros del modelo de lenguaje. Los resultados muestran que, en algunos casos, los modelos entrenados con este método pueden lograr un rendimiento similar al proceso original de múltiples pasos con un menor coste computacional.
Este método de "destilación" funciona de la siguiente manera: primero, se aplica un método de razonamiento de múltiples pasos a una gran cantidad de datos de ejemplo; luego, se filtran y se conservan los resultados con alta consistencia; finalmente, estos datos se utilizan para entrenar finamente el modelo de lenguaje. En esencia, el método genera datos de entrenamiento sintéticos, permitiendo que el modelo de lenguaje llegue directamente a la conclusión sin pasos intermedios.
Nota de la fuente: Imagen generada por IA, proveedor de servicios de licencia de imágenes Midjourney
Los investigadores aplicaron este método a cuatro técnicas diferentes de razonamiento de múltiples pasos y cinco tipos de tareas. Los resultados mostraron que, en muchos casos, este método mejora eficazmente el rendimiento del modelo, pero no es aplicable a todos los escenarios.
Por ejemplo, en tareas como evitar sesgos y mejorar la calidad de las respuestas, el rendimiento del modelo "destilado" fue comparable al del método de múltiples pasos, pero con un consumo de recursos computacionales significativamente menor. Sin embargo, este método no funcionó en tareas de razonamiento matemático complejo. Los investigadores especulan que algunas tareas pueden ser demasiado complejas para el razonamiento de un solo paso.
A pesar de ello, los investigadores consideran que este método ofrece una dirección prometedora para el desarrollo de sistemas de procesamiento de lenguaje más potentes. En el futuro, este método podría combinarse con otras técnicas para abordar problemas realmente desafiantes.
Esta investigación abre nuevas vías para mejorar la capacidad de razonamiento de los modelos de lenguaje, con la esperanza de lograr avances en múltiples campos de aplicación.