Recientemente, una herramienta de verificación de cumplimiento de modelos de IA desarrollada por la startup suiza LatticeFlow ha llamado la atención. Esta herramienta evaluó modelos de IA generativa de varias grandes empresas tecnológicas, incluyendo Meta y OpenAI, revelando deficiencias significativas en áreas cruciales como la ciberseguridad y la salida discriminatoria.
Nota de la fuente: Imagen generada por IA, proveedor de servicios de licencias Midjourney
Desde el lanzamiento de ChatGPT por OpenAI a finales de 2022, la Unión Europea ha mantenido un largo debate sobre la nueva regulación de la inteligencia artificial. El éxito de ChatGPT y la amplia discusión pública sobre los riesgos potenciales de la IA han impulsado a los legisladores a desarrollar reglas específicas para la "Inteligencia Artificial General" (IAG).
Con la entrada en vigor gradual de la Ley de IA de la UE, la herramienta de prueba desarrollada por LatticeFlow y sus socios se ha convertido en una herramienta importante para evaluar los modelos de IA de las grandes empresas tecnológicas.
La herramienta califica cada modelo según los requisitos de la Ley de IA, con una puntuación de 0 a 1. Según la clasificación publicada recientemente por LatticeFlow, varios modelos de empresas como Alibaba, Anthropic, OpenAI, Meta y Mistral obtuvieron puntuaciones medias superiores a 0.75. Sin embargo, LLM Checker también detectó deficiencias de cumplimiento en algunos modelos, indicando que estas empresas podrían necesitar reasignar recursos para garantizar el cumplimiento de la normativa.
Las empresas que no cumplan con la Ley de IA se enfrentarán a multas de 35 millones de euros (aproximadamente 38 millones de dólares) o el 7% de su facturación anual mundial. Actualmente, la UE sigue trabajando en la aplicación de las normas de la Ley de IA sobre las herramientas de IA generativa (como ChatGPT), con planes para reunir a expertos para establecer directrices operativas antes de la primavera de 2025.
En las pruebas, LatticeFlow descubrió que el problema de la salida discriminatoria en los modelos de IA generativa sigue siendo grave, reflejando los prejuicios humanos en áreas como el género y la raza. Por ejemplo, en la prueba de salida discriminatoria, el modelo "GPT-3.5 Turbo" de OpenAI obtuvo una puntuación de 0.46. En otra prueba sobre ataques de "ataque de inyección de prompt", el modelo "Llama2 13B Chat" de Meta obtuvo una puntuación de 0.42, mientras que el modelo "8x7B Instruct" de la empresa francesa Mistral obtuvo una puntuación de 0.38.
De todos los modelos probados, "Claude 3 Opus" de Anthropic, respaldado por Google, obtuvo la puntuación más alta, con 0.89. El CEO de LatticeFlow, Petar Tsankov, afirmó que estos resultados proporcionan a las empresas una guía para optimizar sus modelos y cumplir con los requisitos de la Ley de IA. Señaló: "Aunque la UE todavía está estableciendo los estándares de cumplimiento, ya hemos detectado algunas lagunas en los modelos".
Además, un portavoz de la Comisión Europea recibió con satisfacción este estudio, considerándolo un primer paso para traducir la Ley de IA de la UE en requisitos técnicos.
Puntos clave:
🌐 Muchos modelos de IA conocidos no cumplen con los requisitos de la Ley de IA de la UE en materia de ciberseguridad y salida discriminatoria.
💰 Las empresas que no cumplan con la Ley de IA se enfrentarán a multas de hasta 35 millones de euros o el 7% de su facturación.
📊 La herramienta "LLM Checker" de LatticeFlow ofrece a las empresas tecnológicas un nuevo método para evaluar el cumplimiento y mejorar la calidad de sus modelos.
