En el rápido desarrollo de la inteligencia artificial, el fenómeno de las "alucinaciones" de la IA es cada vez más frecuente, causando importantes problemas a muchas empresas. Los chatbots de atención al cliente describen con confianza productos inexistentes, la IA financiera inventa datos de mercado, y los robots médicos ofrecen consejos médicos peligrosos. Estos problemas ya no son simples anécdotas, sino importantes riesgos que afectan la reputación y los beneficios de las empresas.
Para abordar este desafío, la empresa emergente con sede en San Francisco, Patronus AI, ha anunciado el lanzamiento de la primera plataforma de autoservicio a nivel mundial, diseñada para detectar y prevenir fallos en los sistemas de IA en tiempo real. Esta plataforma es como un "corrector ortográfico" para los sistemas de IA, capaz de detectar problemas antes de que ocurran.
El director ejecutivo de Patronus AI, Anand Kannappan, declaró en una entrevista que muchas empresas se enfrentan a fallos de IA en entornos de producción, incluyendo alucinaciones, vulnerabilidades de seguridad y comportamientos impredecibles. Según la investigación de la empresa, los modelos de IA líderes como GPT-4 tienen un 44% de probabilidad de repetir contenido protegido por derechos de autor al recibir una indicación, mientras que incluso los modelos más avanzados tienen una probabilidad superior al 20% de generar respuestas inseguras en pruebas de seguridad básicas.
Para ayudar a las empresas a mejorar la seguridad de sus sistemas de IA, Patronus AI ofrece una serie de funciones innovadoras. La más destacada, la función "evaluador", permite a las empresas escribir reglas de evaluación personalizadas en inglés sencillo. Esta flexibilidad permite a las empresas de todos los sectores adaptarse a sus propias necesidades; por ejemplo, las empresas de servicios financieros pueden centrarse en el cumplimiento normativo, mientras que las instituciones sanitarias pueden centrarse en la privacidad del paciente y la precisión médica.
El núcleo de la plataforma es el innovador modelo de detección de alucinaciones llamado Lynx, que presenta una precisión un 8,3% superior a la de GPT-4 en la identificación de imprecisiones médicas. Además, la plataforma funciona en dos modos: uno para la monitorización en tiempo real y otro para el análisis en profundidad. Además de las comprobaciones de errores tradicionales, la empresa también ha desarrollado herramientas especializadas como CopyrightCatcher (herramienta de detección de derechos de autor) y FinanceBench (benchmark de rendimiento financiero) para ofrecer a las empresas una protección integral contra fallos de IA.
Para que más empresas puedan permitirse estas herramientas de seguridad, Patronus AI ha adoptado un modelo de precios de pago por uso, con un precio inicial de 10 dólares por cada 1000 llamadas a la API. Entre los primeros usuarios se encuentran grandes empresas como HP, AngelList y Pearson, lo que demuestra la importancia que se da a la inversión en seguridad de la IA.
En el rápido desarrollo de la IA, herramientas como la plataforma de Patronus AI no solo ayudan a las empresas a reducir los riesgos, sino que también contribuyen al cumplimiento de las futuras leyes y regulaciones. A medida que los sistemas de IA sigan evolucionando, la capacidad de detectar y corregir con precisión estas "alucinaciones" será un desafío importante para las empresas.
Acceso al producto: https://www.patronus.ai/
Puntos clave:
🌟 Patronus AI lanza la primera API de autoservicio mundial, diseñada para detectar y prevenir en tiempo real el fenómeno de las alucinaciones de la IA.
🛡️ La plataforma permite a las empresas crear reglas de evaluación personalizadas en inglés sencillo, ofreciendo una solución flexible.
💰 Adopta un modelo de pago por uso, haciendo que las herramientas de seguridad de IA sean asequibles para un mayor número de empresas.