Une analyse de 14 millions de résumés PubMed révèle que les générateurs de texte IA, depuis l'arrivée de ChatGPT, ont influencé au moins 10 % des résumés scientifiques, voire davantage dans certains domaines et pays.
Des chercheurs de l'université de Tübingen et de la Northwestern University ont étudié l'évolution du langage dans 14 millions de résumés scientifiques publiés entre 2010 et 2024. Ils ont constaté que ChatGPT et des générateurs de texte IA similaires ont entraîné une augmentation significative de certains mots et expressions stylistiques.
Les chercheurs ont d'abord identifié les mots significativement plus fréquents en 2024 par rapport aux années précédentes. Ces mots incluent de nombreux verbes et adjectifs typiques du style d'écriture de ChatGPT, tels que « approfondir », « complexe », « démontrer » et « souligner ».
Sur la base de ces mots clés, les chercheurs estiment qu'en 2024, les générateurs de texte IA ont influencé au moins 10 % de tous les résumés PubMed. Dans certains cas, cette influence a même dépassé celle de mots comme « Covid », « pandémie » ou « Ebola » à leur apogée.
Les chercheurs ont constaté qu'environ 15 % des résumés dans les sous-groupes PubMed de pays comme la Chine et la Corée du Sud étaient générés par ChatGPT, contre seulement 3 % au Royaume-Uni. Cependant, cela ne signifie pas nécessairement que les auteurs britanniques utilisent moins ChatGPT.
En réalité, selon les chercheurs, le taux réel d'utilisation de générateurs de texte IA pourrait être beaucoup plus élevé. De nombreux chercheurs modifient les textes générés par l'IA pour supprimer les mots clés typiques. Les locuteurs natifs pourraient avoir un avantage ici, étant plus susceptibles de remarquer ces phrases. Cela rend difficile la détermination de la proportion réelle de résumés influencés par l'IA.
Dans la mesure où cela est mesurable, l'utilisation de l'IA est particulièrement élevée dans certaines revues, comme Frontiers et MDPI (environ 17 %), et même 20 % dans les revues d'informatique. Dans ce dernier secteur, la proportion d'auteurs chinois atteint 35 %.
Pour les auteurs scientifiques, l'IA peut contribuer à rendre les articles plus lisibles. Dmitry Kobak, auteur de l'étude, indique que les IA de génération de texte spécifiquement conçues pour les résumés ne sont pas forcément problématiques.
Cependant, les générateurs de texte IA peuvent également inventer des faits, renforcer les biais, voire plagier, et ils peuvent réduire la diversité et l'originalité des textes scientifiques.
Ironiquement, le modèle linguistique scientifique open source « Galactica » de Meta, publié peu de temps avant ChatGPT, a été sévèrement critiqué par certains membres de la communauté scientifique, forçant Meta à le retirer. Cela n'a visiblement pas empêché l'IA générative de pénétrer l'écriture scientifique, mais cela a peut-être empêché le lancement d'un système optimisé spécifiquement pour cette tâche.
Points clés :
😮 L'analyse des résumés PubMed révèle que depuis le lancement de ChatGPT, au moins 10 % des résumés scientifiques ont été influencés par des générateurs de texte IA.
😯 Dans les sous-groupes PubMed de pays comme la Chine et la Corée du Sud, environ 15 % des résumés sont générés par ChatGPT, contre seulement 3 % au Royaume-Uni.
😲 Les générateurs de texte IA peuvent inventer des faits, renforcer les biais, voire plagier. Les chercheurs appellent donc à une réévaluation des lignes directrices sur l'utilisation des générateurs de texte IA en science.