En la era de la explosión de información, interactuamos diariamente con dispositivos inteligentes. ¿Alguna vez te has preguntado cómo estos aparatos, aparentemente inteligentes, saben que "si llueve, hay que llevar paraguas"? Detrás de esto, hay una profunda transformación en el razonamiento causal.
Un grupo de investigadores de prestigiosas instituciones académicas como Microsoft y el MIT, han desarrollado una estrategia innovadora de entrenamiento de aprendizaje automático. Esta estrategia no solo supera las deficiencias de los grandes modelos de aprendizaje automático en el razonamiento lógico, sino que también ha logrado avances significativos mediante los siguientes pasos:
Método de entrenamiento único: Los investigadores emplearon un método de entrenamiento novedoso, que podría diferir de las técnicas convencionales de entrenamiento de aprendizaje automático.
Mejora del razonamiento lógico: Su método mejoró significativamente la capacidad de razonamiento lógico de los grandes modelos, resolviendo desafíos previos.
Utilización de relaciones causales para construir el conjunto de entrenamiento: El equipo de investigación utilizó modelos de relaciones causales para construir el conjunto de datos de entrenamiento. Este modelo puede revelar las conexiones causales entre variables, lo que ayuda a entrenar modelos capaces de comprender la lógica causal subyacente a los datos.
Enseñar axiomas básicos al modelo: Transmitieron directamente al modelo premisas básicas de lógica y matemáticas, ayudando al modelo a realizar mejor el razonamiento lógico.
Sorprendente rendimiento de los modelos Transformer pequeños: A pesar de tener solo 67 millones de parámetros, los modelos Transformer entrenados con este método lograron una capacidad de razonamiento comparable a la de GPT-4.
El razonamiento causal, que suena como algo exclusivo de los filósofos, en realidad impregna todos los aspectos de nuestras vidas. Para la inteligencia artificial, dominar el razonamiento causal es como aprender a usar "porque... por lo tanto..." para explicar el mundo. Pero la IA no nace con esta capacidad; necesita aprender, y este proceso de aprendizaje es la historia que cuenta este artículo.
Método de entrenamiento axiomático:
Imagina que tienes un estudiante muy inteligente, pero que no sabe nada sobre las relaciones causales del mundo. ¿Cómo lo enseñarías? Los investigadores idearon un método: el entrenamiento axiomático. Es como darle a la IA un "manual de relaciones causales", permitiéndole aprender a identificar y aplicar las reglas causales a través de él.
Los investigadores realizaron experimentos con modelos Transformer y descubrieron que este método de entrenamiento realmente funciona. La IA no solo aprendió a identificar relaciones causales en gráficos a pequeña escala, sino que también pudo aplicar este conocimiento a gráficos más grandes, incluso si nunca antes había visto gráficos de ese tamaño.
La contribución de esta investigación radica en que proporciona un nuevo método que permite a la IA aprender el razonamiento causal a partir de datos pasivos. Es como darle a la IA una nueva forma de "pensar", permitiéndole comprender e interpretar mejor el mundo.
Esta investigación no solo nos muestra la posibilidad de que la IA aprenda el razonamiento causal, sino que también nos abre una puerta a las posibles aplicaciones futuras de la IA. Tal vez, en un futuro próximo, nuestros asistentes inteligentes no solo puedan responder preguntas, sino también explicarnos por qué sucede algo.
Dirección del artículo: https://arxiv.org/pdf/2407.07612v1