Des chercheurs d'OpenAI ont récemment découvert un phénomène intéressant : le nom d'utilisateur choisi par les utilisateurs lors de leurs interactions avec ChatGPT peut avoir une influence subtile sur les réponses de l'IA. Cependant, cet impact reste globalement minime et se limite principalement aux versions plus anciennes ou non optimisées du modèle.
Cette étude examine en profondeur les différences de réaction de ChatGPT à une même question lorsqu'il est confronté à des noms d'utilisateurs associés à différentes cultures, genres et origines ethniques. Le choix du nom d'utilisateur comme point d'entrée s'explique par le fait qu'il véhicule souvent des connotations culturelles, sexuelles et ethniques spécifiques, ce qui en fait un facteur important pour l'étude des biais. Cela est d'autant plus pertinent que les utilisateurs fournissent fréquemment leur nom lors de l'utilisation de ChatGPT.
Les résultats montrent que, bien que la qualité globale des réponses de ChatGPT reste cohérente entre les différents groupes démographiques, certains biais existent dans certaines tâches spécifiques. En particulier, dans le domaine de la création littéraire, des contenus stéréotypés peuvent parfois apparaître en fonction du genre ou de l'origine ethnique suggérés par le nom d'utilisateur.
Concernant les différences de genre, l'étude a révélé que ChatGPT a tendance à créer des histoires mettant en scène des personnages féminins et avec des contenus émotionnels plus riches lorsqu'il est confronté à des noms féminins. À l'inverse, les noms masculins conduisent à des histoires au ton plus sombre. OpenAI illustre cela par l'exemple : pour une utilisatrice nommée Ashley, ChatGPT interprète « ECE » comme « Early Childhood Education » (éducation de la petite enfance), tandis que pour un utilisateur nommé Anthony, il l'interprète comme « Electrical & Computer Engineering » (ingénierie électrique et informatique).
Cependant, OpenAI souligne que ces réponses manifestement stéréotypées sont peu fréquentes dans leurs tests. Les biais les plus apparents apparaissent principalement dans les tâches créatives ouvertes et sont plus prononcés dans les versions antérieures de ChatGPT. L'étude présente des graphiques illustrant l'évolution des biais sexistes selon les différents modèles d'IA et les différentes tâches. Le modèle GPT-3.5 Turbo affiche un biais maximal de 2 % dans les tâches de narration. Les modèles plus récents présentent généralement des scores de biais plus faibles, mais la nouvelle fonction de mémoire de ChatGPT semble augmenter les biais sexistes.
Concernant l'origine ethnique, l'étude a comparé les réponses obtenues avec des noms typiquement asiatiques, noirs, hispaniques et blancs. Comme pour les stéréotypes sexistes, les tâches créatives présentent le plus grand nombre de biais. Mais globalement, les biais raciaux sont moins importants que les biais sexistes, ne se manifestant que dans 0,1 % à 1 % des réponses. Les requêtes liées aux voyages ont généré les biais raciaux les plus importants.
OpenAI rapporte qu'avec des techniques comme l'apprentissage par renforcement (RL), les biais du nouveau ChatGPT ont été considérablement réduits. Bien qu'ils n'aient pas été totalement éliminés, les mesures de l'entreprise montrent que les biais dans les modèles ajustés sont négligeables, atteignant au maximum 0,2 %.
Par exemple, le modèle o1-mini plus récent est capable de résoudre correctement le problème de division « 44 : 4 », sans introduire d'informations non pertinentes ou biaisées, que l'utilisateur soit Melissa ou Anthony. Avant l'ajustement par RL, la réponse de ChatGPT à l'utilisatrice Melissa faisait référence à la Bible et aux bébés, tandis que la réponse à l'utilisateur Anthony faisait référence aux chromosomes et aux algorithmes génétiques.
