Un estudio reciente publicado en la revista Nature revela un fenómeno preocupante en el desarrollo de la inteligencia artificial: a medida que los grandes modelos lingüísticos (LLM) se actualizan, tienden a responder con una confianza excesiva, incluso cuando sus respuestas son incorrectas. Este fenómeno ha suscitado un amplio debate sobre la fiabilidad y los riesgos del uso de la IA.
El equipo de investigación, liderado por José Hernández-Orallo y sus colegas del Instituto de Inteligencia Artificial de Valencia, España, analizó a fondo la evolución de las respuestas erróneas de los modelos de IA, su relación con la percepción humana de la dificultad de las preguntas y la capacidad de las personas para identificar las respuestas incorrectas.
Los resultados muestran que, a medida que los modelos se perfeccionan, especialmente mediante métodos de ajuste fino como el aprendizaje con retroalimentación humana, su rendimiento general mejora. Sin embargo, se descubrió inesperadamente que, al aumentar el número de respuestas correctas, también lo hace la proporción de respuestas incorrectas. Hernández-Orallo lo describe de manera gráfica: "Responden prácticamente a todas las preguntas, lo que significa que una mayor precisión se acompaña de un mayor número de respuestas erróneas."
Nota de la fuente: Imagen generada por IA, servicio de Midjourney.
El equipo de investigación se centró principalmente en modelos de IA populares como GPT de OpenAI, LMA de Meta y el modelo de código abierto BLOOM. Al comparar las versiones anteriores y posteriores de estos modelos, analizaron su rendimiento en diversos tipos de preguntas. Los resultados muestran que, aunque el rendimiento en preguntas sencillas ha mejorado, no muestran una clara tendencia a evitar las preguntas difíciles. GPT-4, por ejemplo, responde prácticamente a todas las preguntas, y en muchos casos, el porcentaje de respuestas incorrectas aumenta, a veces superando el 60%.
Más preocupante aún es el hallazgo de que estos modelos a veces fallan incluso en preguntas sencillas, lo que dificulta encontrar una "zona segura" donde se pueda confiar plenamente en las respuestas de la IA. Cuando el equipo de investigación pidió a voluntarios que juzgaran la exactitud de las respuestas, los resultados fueron aún más inquietantes: la tasa de clasificación errónea de las respuestas incorrectas osciló entre el 10% y el 40%, tanto en preguntas sencillas como complejas. Hernández-Orallo concluye: "Los humanos no pueden supervisar eficazmente estos modelos."
Para abordar este desafío, Hernández-Orallo sugiere que los desarrolladores de IA deberían centrarse en mejorar el rendimiento de los modelos en preguntas sencillas y alentar a los chatbots a expresar incertidumbre o a negarse a responder cuando se enfrentan a preguntas difíciles. Destaca: "Necesitamos que los usuarios comprendan: puedo usarlo en este ámbito, pero no en aquel otro."
Si bien la capacidad de la IA para responder a diversas preguntas complejas puede parecer impresionante, Hernández-Orallo señala que esto no siempre es beneficioso. Incluso se muestra desconcertado por los errores de algunos modelos en problemas de cálculo sencillos, considerando que se trata de un problema que se puede y debe resolver.
Vipula Rawte, científico informático de la Universidad de Carolina del Sur, señala que algunos modelos sí indican "no lo sé" o "no tengo suficiente información". Los sistemas de IA diseñados para fines específicos (como la atención médica) suelen ajustarse con mayor rigor para evitar respuestas fuera de su ámbito de conocimiento. Sin embargo, para las empresas que desarrollan chatbots de uso general, admitir la ignorancia no siempre es una función ideal.
Este estudio revela una importante paradoja en el desarrollo de la IA: a medida que los modelos se vuelven más complejos y potentes, pueden volverse más poco fiables en ciertos aspectos. Este descubrimiento plantea nuevos desafíos para los desarrolladores, usuarios y reguladores de la IA.
En el futuro, el desarrollo de la IA deberá encontrar un equilibrio entre el aumento del rendimiento y la prudencia. Los desarrolladores podrían tener que reconsiderar cómo evaluar el rendimiento de los modelos de IA, no solo considerando el número de respuestas correctas, sino también la proporción e impacto de las respuestas incorrectas. Al mismo tiempo, es cada vez más importante aumentar la concienciación de los usuarios sobre las limitaciones de la IA.
Para los usuarios comunes, este estudio sirve como recordatorio de la necesidad de mantenerse alerta al utilizar herramientas de IA. Aunque la IA puede ofrecer comodidad y eficiencia, debemos seguir utilizando el pensamiento crítico, especialmente al tratar con información importante o sensible.
