Meta ha publicado recientemente un nuevo marco de políticas de riesgo diseñado para evaluar y mitigar los riesgos asociados con los modelos de IA de vanguardia, e incluso detener el desarrollo o limitar el lanzamiento de estos sistemas si es necesario. Este marco, denominado "Marco de IA de vanguardia", detalla cómo Meta clasificará los modelos de IA en dos categorías: alto riesgo y riesgo crítico, y tomará medidas en consecuencia para reducir los riesgos a un "nivel aceptable".
En este marco, el riesgo crítico se define como la capacidad única de facilitar la ejecución de escenarios de amenaza específicos. El alto riesgo implica que el modelo podría aumentar significativamente la probabilidad de que se produzca un escenario de amenaza, pero no lo facilita directamente. Los escenarios de amenaza incluyen la propagación de armas biológicas con capacidades comparables a las de los agentes biológicos conocidos, y daños económicos generalizados a personas o empresas a través de fraudes y estafas a gran escala y prolongadas.
Para los modelos que alcanzan el umbral de riesgo crítico, Meta detendrá su desarrollo y limitará el acceso solo a un pequeño número de expertos. Implementará protecciones de seguridad contra ataques de hackers o fugas de datos cuando sea técnica y comercialmente viable. Para los modelos de alto riesgo, Meta limitará el acceso e implementará medidas de mitigación para reducir el riesgo a un nivel moderado, asegurando que el modelo no aumente significativamente la capacidad de ejecutar escenarios de amenaza.
Meta afirma que su proceso de evaluación de riesgos involucrará a expertos multidisciplinarios y líderes internos de la empresa para garantizar que se consideren todas las perspectivas. Este nuevo marco solo se aplica a los modelos y sistemas más avanzados de la empresa, aquellos cuyas capacidades igualan o superan el estado actual de la técnica.
Meta espera que compartir su enfoque para el desarrollo de sistemas de IA avanzados mejore la transparencia y fomente la discusión e investigación científica sobre la evaluación de la IA y la cuantificación de riesgos. La empresa también destaca que el proceso de toma de decisiones para la evaluación de la IA evolucionará y se perfeccionará a medida que la tecnología avance, incluyendo la garantía de que los resultados de sus entornos de prueba reflejen con precisión el rendimiento del modelo en el mundo real.
Puntos clave:
🌟 Meta lanza un nuevo marco de políticas de riesgo para evaluar y mitigar los riesgos de los modelos de IA de vanguardia.
🔒 El desarrollo de los modelos de riesgo crítico se detendrá y el acceso se limitará a expertos; los modelos de alto riesgo tendrán restricciones de acceso y medidas de mitigación.
🧑🏫 El proceso de evaluación de riesgos involucrará a expertos multidisciplinarios, con el objetivo de mejorar la transparencia y la rigurosidad científica.
