Aunque los grandes modelos lingüísticos como ChatGPT, Claude y Gemini son impresionantes, comparten un gran problema: a menudo producen alucinaciones. Este es un problema grave en el campo de la inteligencia artificial, y hasta Apple ha expresado su preocupación sobre cómo su futura Apple Intelligence manejará estas alucinaciones. Afortunadamente, un grupo de investigadores ha desarrollado un detector de alucinaciones de IA que puede determinar si la IA está inventando contenido.
Nota de la imagen: Imagen generada por IA, proveedor de servicios de licencias de imágenes Midjourney
Estas alucinaciones han provocado muchos errores embarazosos y curiosos, y son una de las principales razones por las que la IA como ChatGPT aún no es más práctica. Hemos visto cómo Google tuvo que modificar su resumen de búsqueda de IA porque la IA comenzó a decir a la gente que era seguro comer piedras y que era seguro poner pegamento en la pizza. Incluso hubo un abogado que usó ChatGPT para ayudar a redactar documentos judiciales y fue multado porque el chatbot inventó las citas en los documentos.
Según el artículo, el nuevo algoritmo desarrollado por los investigadores puede ayudar a discernir si las respuestas generadas por la IA son precisas aproximadamente el 79% de las veces. Por supuesto, no es un registro perfecto, pero es un 10% mejor que otros métodos principales actuales.
Chatbots como Gemini y ChatGPT pueden ser muy útiles, pero también son propensos a producir respuestas inventadas. Esta investigación fue realizada por miembros del Departamento de Ciencias de la Computación de la Universidad de Oxford. Los investigadores explican en el artículo que el método que utilizan es relativamente simple.
Primero, hacen que el chatbot responda al mismo aviso varias veces, generalmente de cinco a diez. Luego, calculan un valor que llamamos entropía semántica, que es una medida de la similitud o diferencia de significado de las respuestas. Si el modelo responde de manera diferente a cada entrada de aviso, la puntuación de entropía semántica será más alta, lo que indica que la IA podría estar inventando respuestas. Sin embargo, si las respuestas son idénticas o similares en significado, la puntuación de entropía semántica será más baja, lo que indica que las respuestas que proporciona son más coherentes y probablemente verdaderas. No es un detector de alucinaciones de IA del cien por cien, pero es un enfoque interesante.
Otros métodos se basan en la llamada entropía ingenua, que generalmente verifica si la redacción de las respuestas es diferente, en lugar de su significado. Por lo tanto, es menos probable que detecte alucinaciones con precisión que el cálculo de la entropía semántica, ya que no se centra en el significado detrás de las palabras en las oraciones.
Los investigadores dicen que el algoritmo podría agregarse a chatbots como ChatGPT mediante un botón, lo que permitiría a los usuarios obtener una "puntuación de certeza" de las respuestas que reciben a sus indicaciones. Incorporar directamente un detector de alucinaciones de IA en los chatbots es atractivo, por lo que se entiende la utilidad de agregar una herramienta de este tipo a varios chatbots.