Anthropic a lancé un programme de financement pour le développement de nouveaux benchmarks afin d'évaluer les performances et l'impact des modèles d'IA, y compris les modèles génératifs comme son propre Claude.
Annoncé lundi, ce programme permettra à Anthropic de verser des fonds à des organisations tierces capables de « mesurer efficacement les capacités avancées des modèles d'IA », comme l'indique la société dans un billet de blog. Les personnes intéressées peuvent soumettre leur candidature, les évaluations étant effectuées de manière continue.
« Notre investissement dans ces évaluations vise à améliorer l'ensemble du domaine de la sécurité de l'IA, en fournissant des outils précieux qui profiteront à l'écosystème dans son ensemble », écrit Anthropic sur son blog officiel. « Le développement d'évaluations de haute qualité liées à la sécurité reste un défi, et la demande dépasse l'offre. »
Comme nous l'avons déjà souligné, les benchmarks de l'IA posent problème. Les benchmarks les plus souvent cités aujourd'hui ne reflètent pas toujours fidèlement la manière dont une personne utilise réellement le système testé. De plus, certains benchmarks, notamment ceux publiés avant l'avènement de l'IA générative moderne, peuvent même ne pas mesurer ce qu'ils prétendent mesurer, étant donné leur ancienneté.
La solution proposée par Anthropic, ambitieuse et complexe, consiste à créer des benchmarks stimulants grâce à de nouveaux outils, infrastructures et méthodes, en mettant l'accent sur la sécurité de l'IA et son impact sociétal.
La société appelle notamment à des tests évaluant la capacité des modèles à réaliser des tâches telles que la mise en œuvre d'attaques informatiques, le « renforcement » d'armes de destruction massive (comme les armes nucléaires) et la manipulation ou la tromperie des individus (par exemple, via des deepfakes ou de la désinformation). Concernant les risques liés à l'IA pour la sécurité nationale et la défense, Anthropic s'engage à développer un « système d'alerte précoce » pour identifier et évaluer ces risques, sans toutefois préciser le contenu de ce système dans son billet de blog.
Anthropic a également indiqué qu'il entend soutenir, par le biais de ce nouveau programme, la recherche sur les benchmarks et les tâches « de bout en bout », explorant le potentiel de l'IA dans la recherche scientifique, la communication multilingue, la réduction des biais profondément ancrés et l'auto-modération de la toxicité.
Pour ce faire, Anthropic envisage de créer de nouvelles plateformes permettant aux experts de différents domaines de développer leurs propres évaluations, et impliquant des tests à grande échelle des modèles avec « des milliers » d'utilisateurs. La société indique avoir déjà recruté un coordinateur à temps plein pour ce programme et qu'elle pourrait acheter ou développer des projets prometteurs.
Les efforts d'Anthropic pour soutenir de nouveaux benchmarks d'IA sont louables, à condition bien sûr qu'ils bénéficient d'un financement et de ressources humaines suffisants. Cependant, compte tenu des ambitions commerciales de la société dans la course à l'IA, une confiance aveugle peut être difficile.
Anthropic a également déclaré souhaiter que son programme devienne « un catalyseur de progrès, pour faire de l'évaluation complète de l'IA une norme industrielle ». C'est une mission que de nombreux efforts ouverts et indépendants des entreprises pourraient soutenir. Cependant, il reste à voir si ces efforts seront disposés à collaborer avec un fournisseur d'IA dont la loyauté incombe en fin de compte à ses actionnaires.
Points clés :
- 📌Anthropic lance un programme de financement pour de nouveaux benchmarks afin d'évaluer les performances et l'impact des modèles d'IA.
- 📌Ce programme vise à créer des benchmarks stimulants axés sur la sécurité et l'impact sociétal de l'IA.
- 📌Anthropic espère que son programme sera « un catalyseur de progrès pour faire de l'évaluation complète de l'IA une norme industrielle ».
