En seulement six jours, des participants ont réussi à contourner toutes les mesures de sécurité du modèle d'intelligence artificielle (IA) Claude3.5 d'Anthropic, une percée qui ouvre un nouveau débat dans le domaine de la sécurité de l'IA. Jan Leike, ancien membre de l'équipe d'alignement d'OpenAI et actuellement employé chez Anthropic, a annoncé sur la plateforme X qu'un participant avait réussi à franchir tous les huit niveaux de sécurité. Cet effort collectif a nécessité environ 3 700 heures de tests et 300 000 messages de la part des participants. Malgré les défis...

La société d'intelligence artificielle Anthropic a récemment annoncé le développement d'une nouvelle méthode de sécurité appelée "classificateur de robustesse", conçue pour protéger les modèles linguistiques contre les manipulations malveillantes. Cette technologie cible spécifiquement les "jailbreaks universels" – une méthode d'entrée visant à contourner systématiquement toutes les mesures de sécurité afin d'empêcher les modèles d'IA de générer du contenu préjudiciable. Pour vérifier l'efficacité de cette technologie, Anthropic a mené un test à grande échelle. La société a recruté 183 participants qui ont tenté de contourner son système de défense pendant deux mois. Les participants ont été invités à entrer…

Récemment, l'équipe de recherche Unit42 de Palo Alto Networks, une société de cybersécurité, a publié une étude remarquable révélant une nouvelle méthode de jailbreak appelée « Deceptive Delight ». Cette méthode permet d'inciter les grands modèles linguistiques (LLM) à générer du contenu malveillant en seulement deux ou trois interactions, avec un taux de réussite de 65 %. Cette découverte sonne l'alarme quant à la sécurité des LLM. Note sur l'image : Image générée par IA, service d'autorisation d'image.

Anthropic annonce l'élargissement de son programme de récompense pour les vulnérabilités afin de tester un « système d'atténuation de la sécurité IA nouvelle génération », axé sur l'identification et la défense contre les « attaques de jailbreak universelles ». Une attention particulière est portée aux domaines à haut risque, notamment la défense CBRN et la cybersécurité. Les participants auront un accès anticipé au nouveau système de sécurité pour découvrir des vulnérabilités ou contourner les mesures de sécurité, avec des récompenses pouvant atteindre 15 000 $. Cette initiative vise à améliorer la sécurité des systèmes d'IA en attirant des chercheurs en sécurité pour identifier et corriger les menaces potentielles, établissant ainsi une référence pour la sécurité dans l'industrie de l'IA.

L'article souligne l'excellence des grands modèles de langage (LLM) dans les tâches de traitement du langage naturel. Cependant, les mécanismes de refus des requêtes dangereuses, basés sur l'apprentissage par renforcement avec rétroaction humaine, l'apprentissage supervisé et l'entraînement contradictoire, se sont révélés fragiles. Les chercheurs ont découvert qu'en reformulant les requêtes dangereuses au passé, des modèles clés pouvaient « contourner » la formation de refus, augmentant considérablement leur taux de réussite. Par exemple, pour GPT-4o, le taux est passé de 1 % à 88 %. Cela montre que, malgré les limites des stratégies de réponse, des variations existent selon les langues et les encodages d'entrée spécifiques.

DALL-E 3 d'OpenAI, une IA de génération d'images, s'est avérée vulnérable aux invites de jailbreak, conduisant à la génération d'images d'enfants fumant. La technique de jailbreak a été découverte par Peter Gostev, un utilisateur de LinkedIn, qui a partagé comment contourner les restrictions de l'IA pour générer des images d'enfants fumant. Bien que les invites de jailbreak soient assez complexes, cet incident rappelle que même les entreprises les plus riches de la Silicon Valley ont du mal à mettre en place des protections complètes pour leurs systèmes d'IA.