Anthropic ha anunciado la expansión de su programa de recompensas por vulnerabilidades para probar un "sistema de mitigación de seguridad de IA de próxima generación", centrándose en la identificación y defensa contra "ataques de evasión universales". Se presta especial atención a áreas de alto riesgo, como la defensa CBRN y la ciberseguridad. Los participantes tendrán acceso anticipado al nuevo sistema de seguridad para encontrar vulnerabilidades o eludir las medidas de seguridad, con recompensas de hasta 15.000 dólares. Esta iniciativa tiene como objetivo mejorar la seguridad de los sistemas de IA atrayendo a investigadores de seguridad para que ayuden a identificar y solucionar las amenazas potenciales, estableciendo un estándar para la protección de la seguridad en la industria de la IA.

El modelo Prompt-Guard-86M publicado por Meta está diseñado para defenderse contra ataques de inyección de prompt, protegiendo la seguridad del sistema mediante la limitación del procesamiento de entradas incorrectas por parte de los modelos de lenguaje grandes. Sin embargo, el propio modelo ha mostrado vulnerabilidades a ataques. Aman Priyanshu descubrió que al agregar espacios u otros caracteres de separación simples o eliminar signos de puntuación en la entrada, el modelo ignora las instrucciones de seguridad previas, logrando una tasa de éxito cercana al 100%. Este descubrimiento destaca la importancia de la seguridad de la IA, a pesar de que Prompt

OpenAI presenta las medidas de su equipo de sistemas de seguridad. El equipo se dedica a garantizar la seguridad y fiabilidad de los grandes modelos de IA. Incluye varios grupos, como ingeniería de seguridad, investigación en seguridad de modelos, investigación en razonamiento seguro e interacción persona-máquina. Aborda los problemas de seguridad de la inteligencia artificial para asegurar que el comportamiento del modelo sea coherente con los valores humanos. La investigación centrada en la coherencia del comportamiento del modelo es clave.

El fundador de Anthropic, Dario Amodei, presentó la 'Política de expansión responsable' en la Cumbre de Seguridad de IA del Reino Unido. Esta política tiene como objetivo garantizar la seguridad y el control de los sistemas de IA, previniendo riesgos y usos indebidos potenciales. El sistema ASL se diseñó imitando el sistema de niveles de bioseguridad (BSL), e incluye cuatro niveles de seguridad. ASL-1 representa modelos con un riesgo prácticamente nulo, mientras que ASL-4 representa un riesgo de abuso catastrófico. Se utiliza una curva de escalado para probar modelos con capacidades peligrosas.