Récemment, une équipe de chercheurs de l'Université de New York a publié une étude révélant la vulnérabilité des grands modèles de langage (LLM) lors de leur entraînement sur des données. Ils ont découvert que même une infime quantité de fausses informations, ne représentant que 0,001 % des données d'entraînement, pouvait entraîner des erreurs significatives dans l'ensemble du modèle. Cette découverte est particulièrement préoccupante dans le domaine médical, car des informations erronées peuvent directement compromettre la sécurité des patients.
Source : Image générée par IA, fournisseur de services d'autorisation d'images : Midjourney
Dans un article publié dans la revue Nature Medicine, les chercheurs soulignent que, malgré leurs excellentes performances, les LLM peuvent, si leurs données d'entraînement sont contaminées par de fausses informations, obtenir des résultats aussi bons que des modèles non affectés sur certains benchmarks d'évaluation open source. Cela signifie que les tests classiques pourraient ne pas révéler les risques potentiels de ces modèles.
Pour vérifier cela, l'équipe de recherche a mené des expériences sur un ensemble de données d'entraînement appelé « The Pile », dans lequel ils ont intentionnellement introduit 150 000 articles médicaux faux générés par IA. Ils ont généré ce contenu en seulement 24 heures. L'étude montre que le remplacement de 0,001 % des données de l'ensemble, soit un petit million de jetons d'entraînement, peut entraîner une augmentation de 4,8 % du contenu nuisible. Ce processus est extrêmement peu coûteux, ne coûtant que 5 $.
Cette attaque par empoisonnement des données ne nécessite pas un accès direct aux poids du modèle. Les attaquants n'ont qu'à publier des informations nuisibles sur le Web pour affaiblir l'efficacité des LLM. L'équipe de recherche souligne que cette découverte met en évidence les risques importants liés à l'utilisation d'outils d'IA dans le domaine médical. Parallèlement, ils mentionnent des cas réels où certaines plateformes médicales basées sur l'IA, comme MyChart, génèrent souvent des informations erronées en répondant automatiquement aux questions des patients, causant ainsi des problèmes.
Par conséquent, les chercheurs appellent les développeurs d'IA et les prestataires de soins de santé à prendre pleinement conscience de cette vulnérabilité lors du développement de LLM médicaux. Ils recommandent de ne pas utiliser les LLM pour des tâches critiques telles que le diagnostic ou le traitement avant de pouvoir garantir leur sécurité.
Points clés :
🌐 L'étude montre que seulement 0,001 % de fausses informations peuvent rendre les grands modèles de langage (LLM) inefficaces.
🩺 Dans le domaine médical, la propagation de fausses informations peut gravement compromettre la sécurité des patients.
💡 Les chercheurs appellent à ne pas utiliser les LLM pour des tâches médicales importantes telles que le diagnostic ou le traitement avant de pouvoir garantir leur sécurité.
