Los grandes modelos lingüísticos (LLM), como el modelo GPT-4 utilizado en la popular plataforma de chat ChatGPT, han demostrado una capacidad asombrosa para comprender indicaciones escritas y generar respuestas apropiadas en múltiples idiomas. Esto nos lleva a preguntarnos: ¿es la calidad del texto y las respuestas generadas por estos modelos tan realista que podría confundirse con la escritura humana?
Tasa de aprobación de cada tipo de testigo (izquierda) y confianza del interrogador (derecha).
Recientemente, investigadores de la Universidad de California en San Diego llevaron a cabo un estudio tipo prueba de Turing para evaluar el grado en que las máquinas exhiben inteligencia humana. Sus hallazgos revelaron que la gente tiene dificultades para distinguir entre GPT-4 y un agente humano en conversaciones de dos personas.
El artículo de investigación, publicado previamente en el servidor arXiv, muestra que GPT-4 fue confundido con un humano en aproximadamente el 50% de las interacciones. Aunque los experimentos iniciales no controlaron completamente algunas variables que podrían afectar los resultados, decidieron realizar un segundo experimento para obtener resultados más detallados.
Una de estas cuatro conversaciones fue con un testigo humano, las demás fueron con inteligencia artificial.
En su estudio, la gente tuvo dificultades para determinar si GPT-4 era humano. En comparación con los modelos GPT-3.5 y ELIZA, la gente podía identificar fácilmente a estos últimos como máquinas, pero su capacidad para distinguir entre GPT-4 humano o máquina no fue mejor que una simple conjetura al azar.
El equipo de investigación diseñó un juego en línea de dos jugadores llamado "¿Humano o no humano?", donde los participantes interactuaban con otra persona o un modelo de IA. En cada juego, un interrogador humano conversaba con un "testigo" para intentar determinar si era humano.
Aunque los humanos reales tuvieron más éxito, convenciendo a los interrogadores de que eran humanos aproximadamente dos tercios de las veces, los resultados del estudio sugieren que en el mundo real, la gente podría no ser capaz de determinar de forma fiable si está hablando con un humano o con un sistema de IA.