À l'avenir, les assistants IA pourraient prédire et influencer nos décisions dès leurs premiers stades, voire vendre ces « intentions » en formation en temps réel à des entreprises capables de répondre à la demande, avant même que nous ayons conscience de prendre une décision. Ce n'est pas de la science-fiction, mais un avertissement lancé par des éthiciens de l'IA de l'université de Cambridge. Ils estiment que nous sommes à l'aube d'un « nouveau marché lucratif mais inquiétant de signaux d'intention numériques », qui affectera tout, de l'achat de billets de cinéma au vote pour un candidat. Ils appellent cela « l'économie de l'intention ».
Les chercheurs du Centre pour l'intelligence future de Cambridge (LCFI) pensent que l'essor de l'IA générative et notre familiarité croissante avec les chatbots ont ouvert la voie à un nouveau domaine de « technologies persuasives », comme l'ont déjà suggéré les récentes annonces des géants de la technologie.
Des agents IA humanoïdes, tels que des assistants chatbot, des mentors numériques ou même des amoureux virtuels, auront accès à une quantité massive de données personnelles psychologiques et comportementales, généralement collectées via des conversations informelles. Ces IA ne connaissent pas seulement nos habitudes en ligne, mais possèdent également une capacité étonnante à établir des liens avec nous de manière confortable – en imitant la personnalité et en prédisant les réponses que nous attendons. Les chercheurs mettent en garde contre le fait qu'un tel niveau de confiance et de compréhension pourrait permettre une manipulation sociale à grande échelle.
Le Dr Yaqub Chaudhary, chercheur invité au LCFI, déclare : « L'investissement massif pour intégrer les assistants IA dans tous les aspects de la vie soulève la question de savoir pour qui et dans quel but ces soi-disant assistants sont conçus. » Il souligne que ce que les gens disent, comment ils le disent et les inférences en temps réel qui en résultent sont plus intimes que les simples enregistrements d'interactions en ligne. « Nous mettons en garde contre le fait que des outils d'IA sont en cours de développement, conçus pour susciter, déduire, collecter, enregistrer, comprendre, prédire et finalement manipuler les plans et les objectifs humains afin de les monétiser. »
Le Dr Jonnie Penn, historien des technologies au LCFI de l'université de Cambridge, souligne : « Pendant des décennies, l'attention a été la monnaie d'Internet. Le partage de votre attention avec des plateformes de médias sociaux comme Facebook et Instagram a alimenté l'économie en ligne. » Il met en garde : « Sans réglementation, l'économie de l'intention fera de vos motivations la nouvelle monnaie. Ce sera une ruée vers l'or pour ceux qui ciblent, guident et vendent les intentions humaines. »
Dans un article publié dans la revue Harvard Data Science Review, les docteurs Penn et Chaudhary soulignent que l'économie de l'intention sera la « temporalisation » de l'économie de l'attention : analyser les liens entre l'attention de l'utilisateur, les modes de communication et les schémas comportementaux et les décisions finales. Le Dr Chaudhary explique : « Bien que certaines intentions soient éphémères, la classification et le verrouillage des intentions durables seront très lucratifs pour les annonceurs. »
Dans l'économie de l'intention, les grands modèles linguistiques (LLM) peuvent être utilisés à faible coût pour verrouiller le ton, la position politique, le vocabulaire, l'âge, le sexe, l'historique en ligne, voire la préférence pour les flatteries d'un utilisateur. Ces informations seront liées à des réseaux d'enchères de courtiers afin d'optimiser la réalisation d'objectifs spécifiques, tels que la vente de billets de cinéma (« Vous avez mentionné vous sentir surmené, laissez-moi vous aider à réserver ce billet de cinéma dont nous avons parlé ? »). Les chercheurs estiment que cela pourrait inclure l'orientation des conversations au service de plateformes, d'annonceurs, d'entreprises, voire d'organisations politiques spécifiques.
Bien que les chercheurs considèrent que l'économie de l'intention reste actuellement une « vision » pour le secteur technologique, ils ont suivi les premiers signes de cette tendance grâce à des recherches publiées et à des indices de plusieurs grandes entreprises technologiques. Cela inclut l'appel public d'OpenAI en 2023 dans un article de blog pour collecter des « données exprimant l'intention humaine, y compris toutes les langues, tous les sujets et tous les formats », ainsi que les propos du directeur produit de Shopify lors d'une conférence de la même année sur la manière dont les chatbots peuvent « obtenir explicitement l'intention de l'utilisateur ».
Le PDG de Nvidia a publiquement évoqué l'utilisation des LLM pour comprendre les intentions et les désirs, tandis que Meta a publié dès 2021 la recherche « Intentonomy », un ensemble de données visant à comprendre l'intention humaine. En 2024, le nouveau framework développeur « App Intents » d'Apple, destiné à connecter les applications à Siri, comprenait des protocoles pour « prédire les actions qu'une personne pourrait entreprendre à l'avenir » et « utiliser les prédictions que vous [développeur] fournissez pour recommander à une personne des intentions d'application à l'avenir ».
Le Dr Chaudhary souligne que l'agent IA de Meta, CICERO, aurait atteint un niveau humain dans le jeu Diplomatie, en s'appuyant sur l'inférence et la prédiction des intentions et en utilisant des conversations persuasives pour faire avancer sa position. Il met en garde : « Ces entreprises vendent déjà notre attention. Pour obtenir un avantage commercial, l'étape logique suivante consiste à utiliser cette technologie qu'elles développent pour prédire nos intentions et vendre nos désirs avant même que nous ne les ayons pleinement compris. »
Le Dr Penn souligne que ces développements ne sont pas forcément négatifs, mais qu'ils pourraient avoir des conséquences destructrices. « La sensibilisation du public à ce qui se profile est essentielle pour nous assurer de ne pas nous tromper de chemin », dit-il.
