En 1950, un brillant esprit du nom d'Alan Turing a conçu une méthode ingénieuse pour tester l'intelligence d'une machine : le célèbre test de Turing. En termes simples, si une machine peut tromper un humain lors d'une conversation textuelle, la faisant croire qu'il s'agit d'un autre humain, alors elle réussit le test et est considérée comme intelligente.
Cependant, avec l'évolution de la technologie, une nouvelle question se pose : si nous ne communiquons pas directement avec l'IA, mais que nous lisons les enregistrements textuels de ses interactions avec d'autres personnes, pouvons-nous encore identifier avec précision qui est humain et qui est une machine ?
Récemment, un groupe de scientifiques de l'Université de Californie à San Diego a mené une étude approfondie sur ce sujet. Ils ont conçu une version améliorée du test de Turing, appelée « test de Turing inversé » et « test de Turing décalé », pour explorer cette question.
Légende : Image générée par IA, fournisseur de services d'autorisation d'images Midjourney
Dans le test de Turing inversé, l'IA n'est plus le sujet testé, mais devient l'arbitre. Les scientifiques ont demandé à deux grands modèles linguistiques, GPT-3.5 et GPT-4, de lire les enregistrements de conversations entre humains et IA, puis de déterminer quels participants étaient humains et lesquels étaient des IA.
Les résultats ont été surprenants : la précision des jugements de ces arbitres IA était non seulement inférieure à celle des arbitres humains participant directement aux conversations, mais dans de nombreux cas, ils ont même erronément identifié des IA comme étant humaines. En particulier pour le modèle GPT-4, qui a obtenu les meilleurs résultats, la fréquence à laquelle les arbitres IA l'ont identifié comme humain était supérieure à celle des participants humains réels.
Les scientifiques ont également mené le test de Turing décalé, où des arbitres humains lisaient les enregistrements de conversations entre IA et humains. Les résultats ont montré que même les arbitres humains, dans ce cas, avaient une précision inférieure à celle des arbitres humains participant directement aux conversations.
Ces découvertes nous montrent que, qu'il s'agisse d'humains ou d'IA, il est difficile d'identifier avec précision si l'autre partie est humaine ou une machine sans communication directe. Ceci a une importance considérable pour nos interactions en ligne quotidiennes, car nous comprenons souvent les autres en lisant leurs conversations.
Cela signifie également que si nous nous appuyons sur l'IA pour détecter les fausses informations en ligne ou les IA se faisant passer pour des humains, nous aurons peut-être besoin d'outils plus précis. Car les modèles d'IA actuels ne sont pas plus performants que les humains dans cette tâche.
Cette recherche approfondit non seulement notre compréhension de l'IA, mais met également en lumière un défi majeur du développement de l'IA : comment concevoir de meilleurs outils pour détecter et distinguer le contenu généré par l'IA du contenu généré par l'homme.
Avec les progrès constants de la technologie de l'IA, ce problème deviendra de plus en plus important. Nous devons nous assurer que, tout en profitant des avantages de l'IA, nous pouvons également protéger la sécurité de nos données et l'authenticité de notre environnement numérique.
Adresse de l'article : https://arxiv.org/pdf/2407.08853
