Recientemente, una herramienta de transcripción de IA impulsada por la tecnología Whisper de OpenAI ha ganado popularidad en el sector sanitario. Muchos médicos y centros médicos la utilizan para registrar y resumir las consultas con pacientes.
Según un informe de ABC News, los investigadores han descubierto que la herramienta puede experimentar "alucinaciones" en ciertas ocasiones, llegando incluso a inventar información completamente falsa.
Esta herramienta de transcripción, desarrollada por la empresa Nabla, ha transcrito con éxito más de 7 millones de conversaciones médicas y actualmente la utilizan más de 30.000 médicos y 40 sistemas de salud. A pesar de esto, Nabla reconoce la posibilidad de que Whisper genere alucinaciones y afirma estar trabajando para solucionar este problema.
Un grupo de investigadores de la Universidad de Cornell, la Universidad de Washington y otras instituciones realizaron un estudio, descubriendo que Whisper experimenta alucinaciones en aproximadamente el 1% de las transcripciones. En estos casos, la herramienta genera frases sin sentido durante los silencios de la grabación, a veces incluso expresando emociones violentas. Estos investigadores utilizaron muestras de audio de AphasiaBank de TalkBank y señalaron que los silencios son especialmente comunes cuando hablan pacientes con trastornos del lenguaje.
Allison Koenecke, investigadora de la Universidad de Cornell, compartió en redes sociales algunos ejemplos de las alucinaciones generadas por Whisper. Los investigadores descubrieron que el contenido generado por la herramienta incluía términos médicos ficticios, e incluso frases como "¡Gracias por ver!", similares a las que se utilizan al final de los vídeos de YouTube.
Este estudio se presentó en junio en la conferencia FAccT de la Sociedad Brasileña de Computación, pero aún no está claro si ha sido revisado por pares. En respuesta a esta cuestión, Taya Christianson, portavoz de OpenAI, declaró a The Verge que toman el asunto muy en serio y que continúan trabajando para mejorar la herramienta, especialmente en la reducción de las alucinaciones. También mencionó que al utilizar Whisper en su plataforma API, existe una política de uso clara que prohíbe el uso de la herramienta en ciertos entornos de toma de decisiones de alto riesgo.
Puntos clave:
🌟 La herramienta de transcripción Whisper se utiliza ampliamente en el sector sanitario, habiendo transcrito 7 millones de conversaciones médicas.
⚠️ Un estudio revela que Whisper experimenta "alucinaciones" en aproximadamente el 1% de las transcripciones, generando a veces contenido sin sentido.
🔍 OpenAI afirma estar trabajando para mejorar el rendimiento de la herramienta, especialmente en la reducción de las alucinaciones.