Récemment, un outil de transcription IA basé sur la technologie Whisper d'OpenAI a gagné en popularité dans le secteur médical. De nombreux médecins et établissements de santé l'utilisent pour enregistrer et résumer les consultations avec les patients.
Selon ABC News, des chercheurs ont toutefois découvert que cet outil pouvait, dans certains cas, produire des « hallucinations », inventant parfois des informations de toutes pièces.
Développé par la société Nabla, cet outil de transcription a déjà transcrit plus de 7 millions de conversations médicales et est utilisé par plus de 30 000 cliniciens et 40 systèmes de santé. Malgré cela, Nabla est consciente du potentiel de « hallucinations » de Whisper et affirme travailler activement à résoudre ce problème.
Une équipe de chercheurs des universités Cornell et Washington, entre autres, a mené une étude démontrant que Whisper produit des hallucinations dans environ 1 % des transcriptions. Dans ces cas, l'outil génère des phrases sans signification pendant les silences de l'enregistrement, allant parfois jusqu'à exprimer des sentiments violents. Ces chercheurs ont utilisé des échantillons audio de TalkBank's AphasiaBank, soulignant que les silences sont particulièrement fréquents lorsque des patients souffrant de troubles du langage s'expriment.
Allison Koenecke, chercheuse à l'université Cornell, a partagé sur les réseaux sociaux des exemples d'hallucinations générées par Whisper. Les chercheurs ont constaté que l'outil inventait des termes médicaux, voire des phrases comme « Merci de regarder ! », semblables à celles utilisées dans les vidéos YouTube.
Cette étude a été présentée en juin lors de la conférence FAccT de l'Association brésilienne d'informatique, mais on ignore si elle a fait l'objet d'un examen par les pairs. Interrogée par The Verge, Taya Christianson, porte-parole d'OpenAI, a déclaré prendre ce problème très au sérieux et travailler à l'améliorer, notamment en réduisant les hallucinations. Elle a également précisé que l'utilisation de Whisper via leur API est soumise à une politique d'utilisation claire interdisant son emploi dans certains contextes à haut risque.
Points clés :
🌟 L'outil de transcription Whisper est largement utilisé dans le secteur médical, ayant transcrit 7 millions de conversations médicales.
⚠️ Des recherches ont révélé que Whisper produit des « hallucinations » dans environ 1 % des transcriptions, générant parfois des informations absurdes.
🔍 OpenAI affirme travailler à l'amélioration des performances de l'outil, notamment en réduisant les hallucinations.
