Un outil de contrôle de conformité des modèles d'IA développé par la start-up suisse LatticeFlow a récemment suscité un vif intérêt. Cet outil a testé des modèles d'IA générative développés par plusieurs grandes entreprises technologiques, dont Meta et OpenAI, révélant des lacunes significatives dans des domaines clés tels que la cybersécurité et les sorties discriminatoires.
Source : Image générée par IA, fournisseur de services d'autorisation d'images Midjourney
Depuis le lancement de ChatGPT par OpenAI fin 2022, l'Union européenne a longuement débattu de la nouvelle réglementation sur l'intelligence artificielle. Le succès fulgurant de ChatGPT et les nombreuses discussions publiques sur les risques potentiels de l'IA ont poussé les législateurs à élaborer des règles spécifiques pour l'"intelligence artificielle générale" (IAG). Avec l'entrée progressive en vigueur du règlement européen sur l'IA, l'outil de test développé par LatticeFlow et ses partenaires est devenu un instrument essentiel pour évaluer les modèles d'IA des grandes entreprises technologiques.
L'outil attribue une note à chaque modèle, de 0 à 1, en fonction des exigences du règlement sur l'IA. Selon le classement récemment publié par LatticeFlow, plusieurs modèles d'entreprises comme Alibaba, Anthropic, OpenAI, Meta et Mistral ont obtenu une note moyenne supérieure à 0,75. Cependant, LLM Checker a également mis en évidence des défauts de conformité chez certains modèles, suggérant que ces entreprises pourraient devoir réallouer leurs ressources pour garantir le respect de la réglementation.
Les entreprises ne respectant pas le règlement sur l'IA risquent une amende de 35 millions d'euros (environ 38 millions de dollars) ou 7 % de leur chiffre d'affaires annuel mondial. L'UE travaille actuellement à la mise en œuvre des règles du règlement sur l'IA concernant les outils d'IA générative (tels que ChatGPT), prévoyant de réunir des experts d'ici le printemps 2025 pour élaborer des lignes directrices opérationnelles.
Lors des tests, LatticeFlow a constaté que les sorties discriminatoires des modèles d'IA générative restaient un problème majeur, reflétant les préjugés humains en matière de genre, d'origine ethnique, etc. Par exemple, lors du test des sorties discriminatoires, le modèle « GPT-3.5 Turbo » d'OpenAI a obtenu un score de 0,46. Lors d'un autre test portant sur les attaques de « prise de contrôle par suggestion », le modèle « Llama2 13B Chat » de Meta a obtenu un score de 0,42, tandis que le modèle « 8x7B Instruct » de la société française Mistral a obtenu un score de 0,38.
Parmi tous les modèles testés, « Claude3 Opus » d'Anthropic, soutenu par Google, a obtenu le meilleur score, avec 0,89. Petar Tsankov, PDG de LatticeFlow, a déclaré que ces résultats permettaient aux entreprises d'optimiser leurs modèles et de se conformer aux exigences du règlement sur l'IA. Il a souligné : « Bien que l'UE soit encore en train d'établir des normes de conformité, nous avons déjà constaté certaines lacunes dans les modèles. »
Par ailleurs, un porte-parole de la Commission européenne a salué cette étude, la considérant comme une première étape dans la transposition des exigences techniques du règlement européen sur l'IA.
Points clés :
🌐 De nombreux modèles d'IA renommés ne respectent pas les exigences du règlement européen sur l'IA en matière de cybersécurité et de sorties discriminatoires.
💰 Les entreprises ne respectant pas le règlement sur l'IA risquent une amende pouvant atteindre 35 millions d'euros ou 7 % de leur chiffre d'affaires.
📊 L'outil « LLM Checker » de LatticeFlow offre aux entreprises technologiques une nouvelle méthode d'évaluation de la conformité, les aidant à améliorer la qualité de leurs modèles.