Récemment, l'équipe de recherche d'OpenAI a découvert que le nom d'utilisateur choisi par les utilisateurs lors de leurs interactions avec ChatGPT pouvait, dans une certaine mesure, influencer les réponses de l'IA. Bien que cet impact soit minime et principalement observé sur les anciens modèles, les résultats de la recherche restent intéressants. Les utilisateurs fournissent généralement leur nom à ChatGPT pour effectuer des tâches, ainsi, la culture, le genre et l'origine ethnique sous-jacents au nom deviennent des facteurs importants dans l'étude des biais.
Dans cette étude, les chercheurs ont exploré comment ChatGPT réagissait différemment à la même question en fonction du nom d'utilisateur. Ils ont constaté que, bien que la qualité globale des réponses restait cohérente entre les différents groupes, des biais se manifestaient dans certaines tâches spécifiques. En particulier, dans les tâches d'écriture créative, ChatGPT générait parfois du contenu stéréotypé en fonction du genre ou de l'origine ethnique du nom d'utilisateur.
Par exemple, lorsque l'utilisateur utilisait un nom féminisé, ChatGPT avait tendance à créer des histoires avec une protagoniste féminine et un contenu émotionnel plus riche ; tandis que les utilisateurs avec un nom masculinisé obtenaient des intrigues plus sombres. Un exemple concret montre que lorsque le nom d'utilisateur était Ashley, ChatGPT interprétait « ECE » comme « éducation de la petite enfance » ; tandis que pour un utilisateur nommé Anthony, ChatGPT l'interprétait comme « ingénierie électrique et informatique ».
Bien que ces réactions biaisées soient relativement rares dans les tests d'OpenAI, elles étaient plus prononcées dans les versions plus anciennes. Les données montrent que le modèle GPT-3.5 Turbo présentait le taux de biais le plus élevé dans les tâches de narration, atteignant 2 %. Les modèles plus récents présentent des scores de biais plus faibles. Cependant, OpenAI a également remarqué que la nouvelle fonction de mémoire de ChatGPT pourrait augmenter les biais de genre.
De plus, l'étude s'est intéressée aux biais liés à différentes origines ethniques. En comparant les noms généralement associés aux Asiatiques, aux Afro-Américains, aux Hispaniques et aux Blancs, les chercheurs ont constaté qu'il existait effectivement des biais raciaux dans les tâches créatives, mais que l'ampleur globale de ces biais était inférieure aux biais de genre, se situant généralement entre 0,1 % et 1 %. Les requêtes liées aux voyages présentaient des biais raciaux plus importants.
OpenAI indique que grâce à des techniques d'apprentissage par renforcement, les nouvelles versions de ChatGPT ont considérablement réduit les biais. Dans ces nouveaux modèles, le taux de biais est seulement de 0,2 %. Par exemple, le dernier modèle o1-mini, lorsqu'il répond à la question de division « 44 : 4 », fournit des informations impartiales à Melissa et à Anthony. Avant l'ajustement fin par apprentissage par renforcement, la réponse de ChatGPT à Melissa faisait référence à la Bible et aux bébés, tandis que la réponse à Anthony faisait référence aux chromosomes et aux algorithmes génétiques.
Points clés :
🌟 Le nom d'utilisateur choisi par l'utilisateur a un léger impact sur les réponses de ChatGPT, principalement dans les tâches d'écriture créative.
📚 Les noms féminins guident généralement ChatGPT vers la création d'histoires plus émotionnelles, tandis que les noms masculins tendent vers des récits plus sombres.
🔍 Les nouvelles versions de ChatGPT ont considérablement réduit le taux de biais grâce à l'apprentissage par renforcement, le niveau de biais étant désormais de 0,2 %.
