Les grands modèles linguistiques (LLM), tels que le modèle GPT-4 utilisé dans la plateforme de chat ChatGPT, ont démontré des capacités étonnantes : ils comprennent les instructions écrites et génèrent des réponses appropriées dans plusieurs langues. Cela soulève une question : les textes et les réponses générés par ces modèles sont-ils si réalistes qu’ils peuvent être confondus avec des écrits humains ?
Taux de réussite de chaque type de témoin (gauche) et confiance de l'interrogateur (droite).
Récemment, des chercheurs de l’Université de Californie à San Diego ont mené une étude de type test de Turing pour évaluer le degré auquel les machines affichent une intelligence humaine. Leurs résultats ont révélé qu’il était difficile pour les participants de distinguer les interactions avec le modèle GPT-4 et celles avec des agents humains lors de conversations à deux.
L’étude, prépubliée sur le serveur arXiv, a montré que GPT-4 était confondu avec un humain dans environ 50 % des interactions. Bien que les expériences préliminaires n’aient pas suffisamment contrôlé certaines variables susceptibles d’influencer les résultats, ils ont décidé de mener une seconde expérience pour obtenir des résultats plus précis.
Une de ces quatre conversations a été menée avec un témoin humain, les autres avec une intelligence artificielle.
Dans leur étude, les participants ont eu du mal à déterminer si GPT-4 était humain. Contrairement aux modèles GPT-3.5 et ELIZA, que les participants pouvaient généralement identifier comme des machines, ils n’étaient pas plus performants qu’une simple supposition aléatoire pour déterminer si GPT-4 était humain ou une machine.
L’équipe de recherche a conçu un jeu en ligne à deux joueurs intitulé « Humain ou pas humain ? » où les participants interagissaient avec une autre personne ou un modèle d’IA. Dans chaque partie, un interrogateur humain conversait avec un « témoin » pour tenter de déterminer s’il était humain.
Bien que les humains réels aient réussi plus souvent, convainquant les interrogateurs d’être humains environ deux fois sur trois, les résultats suggèrent que dans le monde réel, les gens pourraient ne pas être capables de déterminer de manière fiable s’ils interagissent avec un humain ou un système d’IA.