Dans le contexte de l'essor rapide de l'intelligence artificielle, les « hallucinations » de l'IA sont de plus en plus fréquentes, causant des problèmes importants à de nombreuses entreprises. Les chatbots de service client décrivent avec assurance des produits inexistants, les IA financières inventent des données de marché, et les robots médicaux prodiguent des conseils dangereux. Ces problèmes ne sont plus de simples anecdotes, mais de véritables menaces qui affectent la réputation et les bénéfices des entreprises.
Pour relever ce défi, la start-up basée à San Francisco, Patronus AI, a annoncé le lancement de la première plateforme en libre-service au monde, conçue pour détecter et prévenir en temps réel les défaillances des systèmes d'IA. Cette plateforme est comme un « correcteur orthographique » pour les systèmes d'IA, capable de détecter les problèmes avant qu'ils ne surviennent.
Anand Kannappan, PDG de Patronus AI, a déclaré lors d'une interview que de nombreuses entreprises sont confrontées à des défaillances de l'IA en environnement de production, notamment des hallucinations, des failles de sécurité et des comportements imprévisibles. Selon les recherches de l'entreprise, les modèles d'IA de pointe comme GPT-4 répètent du contenu protégé par le droit d'auteur dans 44 % des cas lors des invites, et même les modèles les plus avancés génèrent des réponses dangereuses dans plus de 20 % des cas lors de tests de sécurité de base.
Pour aider les entreprises à améliorer la sécurité de leurs systèmes d'IA, Patronus AI propose une série de fonctionnalités innovantes. La plus remarquable, la fonction « évaluateur », permet aux entreprises de rédiger des règles d'évaluation personnalisées en anglais simple. Cette flexibilité permet aux entreprises de tous les secteurs d'adapter la plateforme à leurs besoins : les entreprises de services financiers peuvent se concentrer sur la conformité, tandis que les établissements de santé peuvent se concentrer sur la confidentialité des patients et l'exactitude des informations médicales.
Au cœur de la plateforme se trouve Lynx, un modèle révolutionnaire de détection des hallucinations, dont la précision dans l'identification des inexactitudes médicales est supérieure de 8,3 % à celle de GPT-4. De plus, la plateforme fonctionne selon deux modes : un mode de surveillance en temps réel et un mode d'analyse approfondie. Outre la vérification d'erreurs traditionnelle, l'entreprise a également développé des outils spécialisés tels que CopyrightCatcher (outil de détection des droits d'auteur) et FinanceBench (benchmark d'évaluation des performances financières), offrant ainsi une protection complète contre les défaillances de l'IA.
Pour rendre ces outils de sécurité accessibles à un plus grand nombre d'entreprises, Patronus AI a adopté un modèle de tarification à la demande, à partir de 10 $ pour 1000 appels d'API. Des entreprises de grande envergure telles que HP, AngelList et Pearson figurent parmi les premiers utilisateurs, témoignant de l'importance accordée aux investissements en matière de sécurité de l'IA.
Dans le contexte du développement rapide de l'IA, des outils tels que la plateforme Patronus AI permettent non seulement aux entreprises de réduire les risques, mais aussi de se conformer à la législation à venir. Avec l'évolution constante des systèmes d'IA, la détection et la correction précises de ces « hallucinations » constitueront un défi majeur pour les entreprises.
Accès au produit : https://www.patronus.ai/
Points clés :
🌟 Patronus AI lance la première API en libre-service au monde pour détecter et prévenir en temps réel les hallucinations de l'IA.
🛡️ La plateforme permet aux entreprises de créer des règles d'évaluation personnalisées en anglais simple, offrant des solutions flexibles.
💰 Un modèle de tarification à la demande rend les outils de sécurité de l'IA accessibles à un plus grand nombre d'entreprises.