Recentemente, uma ferramenta de transcrição de IA alimentada pela tecnologia Whisper da OpenAI ganhou popularidade no setor de saúde. Muitos médicos e instituições médicas estão usando essa ferramenta para registrar e resumir encontros com pacientes.
De acordo com a ABC News, pesquisadores descobriram que a ferramenta apresenta "alucinações" em alguns casos, às vezes até inventando conteúdo completamente.
Desenvolvida pela empresa Nabla, a ferramenta de transcrição já transcreveu mais de 7 milhões de conversas médicas e atualmente é usada por mais de 30.000 médicos e 40 sistemas de saúde. Apesar disso, a Nabla reconhece a possibilidade de o Whisper gerar alucinações e afirma estar trabalhando para resolver esse problema.
Uma equipe de pesquisadores da Cornell University, Universidade de Washington e outras instituições conduziu um estudo e descobriu que o Whisper apresenta alucinações em aproximadamente 1% das transcrições. Nesses casos, a ferramenta gera frases sem sentido aleatoriamente durante períodos de silêncio na gravação, às vezes até expressando emoções violentas. Esses pesquisadores coletaram amostras de áudio do AphasiaBank do TalkBank e apontaram que o silêncio é particularmente comum quando pacientes com dificuldades de linguagem falam.
A pesquisadora da Cornell University, Allison Koenecke, compartilhou alguns exemplos nas redes sociais, mostrando o conteúdo alucinatório gerado pelo Whisper. Os pesquisadores descobriram que o conteúdo gerado pela ferramenta também incluía termos médicos fictícios e até mesmo frases como "Obrigado por assistir!", semelhantes às falas em vídeos do YouTube.
Este estudo foi apresentado em junho na conferência FAccT da Sociedade Brasileira de Computação, mas ainda não está claro se passou por revisão por pares. Sobre isso, a porta-voz da OpenAI, Taya Christianson, em entrevista à The Verge, disse que a empresa leva o assunto muito a sério e continua trabalhando para melhorar, especialmente na redução de alucinações. Ela também mencionou que, ao usar o Whisper na plataforma API, há uma política de uso clara que proíbe o uso da ferramenta em certos ambientes de tomada de decisão de alto risco.
Destaques:
🌟 A ferramenta de transcrição Whisper é amplamente utilizada no setor de saúde, tendo transcrito 7 milhões de conversas médicas.
⚠️ Pesquisas revelaram que o Whisper apresenta "alucinações" em aproximadamente 1% das transcrições, às vezes gerando conteúdo sem sentido.
🔍 A OpenAI afirma estar trabalhando para melhorar o desempenho da ferramenta, especialmente na redução de alucinações.