Anthropic ha lanzado un programa para financiar el desarrollo de nuevos tipos de pruebas de referencia para evaluar el rendimiento y el impacto de los modelos de IA, incluidos los modelos generativos como su propio Claude.
Anthropic anunció este programa el lunes, y proporcionará financiación a organizaciones externas que puedan "medir eficazmente las capacidades avanzadas de los modelos de IA", según explicó la empresa en una entrada de blog. Los interesados pueden presentar sus solicitudes, que se evaluarán de forma continua.
“Nuestra inversión en estas evaluaciones tiene como objetivo mejorar todo el campo de la seguridad de la IA, proporcionando herramientas valiosas que beneficien a todo el ecosistema”, escribió Anthropic en su blog oficial. “El desarrollo de evaluaciones de alta calidad relacionadas con la seguridad sigue siendo un desafío, y la demanda supera la oferta.”
Como hemos destacado anteriormente, existe un problema con las pruebas de referencia de la IA. Las pruebas de referencia más citadas hoy en día a menudo no reflejan la forma en que una persona promedio utiliza realmente el sistema que se está probando. Además, algunas pruebas de referencia, especialmente las publicadas antes del auge de la IA generativa moderna, pueden no medir lo que afirman medir debido a su antigüedad.
La solución propuesta por Anthropic, de alto nivel y aparentemente compleja, consiste en crear pruebas de referencia desafiantes mediante nuevas herramientas, infraestructura y métodos, centrándose en la seguridad y el impacto social de la IA.
La empresa solicita específicamente pruebas que evalúen la capacidad de los modelos para realizar tareas como llevar a cabo ciberataques, "mejorar" armas de destrucción masiva (como armas nucleares) y manipular o engañar a las personas (por ejemplo, mediante deepfakes o desinformación). En cuanto a los riesgos de la IA relacionados con la seguridad nacional y la defensa, Anthropic afirma que está comprometida con el desarrollo de un "sistema de alerta temprana" para identificar y evaluar los riesgos, aunque no se revela en la entrada del blog qué podría incluir dicho sistema.
Anthropic también afirma que pretende apoyar, a través del nuevo programa, la investigación de pruebas de referencia y tareas "de extremo a extremo", explorando el potencial de la IA en la investigación científica, la comunicación multilingüe y la reducción de sesgos arraigados y la toxicidad de la autocensura.
Para lograr este objetivo, Anthropic prevé nuevas plataformas que permitan a los expertos en la materia desarrollar sus propias evaluaciones e involucrar pruebas a gran escala de modelos con "miles" de usuarios. La empresa afirma haber contratado a un coordinador a tiempo completo para el programa y que posiblemente adquiera o amplíe proyectos con potencial.
Los esfuerzos de Anthropic para apoyar nuevas pruebas de referencia de IA son encomiables, siempre que, por supuesto, haya suficiente financiación y personal. Sin embargo, teniendo en cuenta las ambiciones comerciales de la empresa en la carrera de la IA, confiar plenamente en ella puede ser difícil.
Anthropic también afirma que espera que su programa sea "un catalizador para el progreso, para lograr un futuro en el que la evaluación integral de la IA se convierta en un estándar de la industria". Esta es una misión con la que muchos esfuerzos abiertos e independientes de la empresa pueden estar de acuerdo. Sin embargo, queda por ver si estos esfuerzos estarán dispuestos a colaborar con un proveedor de IA cuya lealtad reside en última instancia en sus accionistas.
Puntos clave:
- 📌Anthropic lanza un programa para financiar nuevos tipos de pruebas de referencia para evaluar el rendimiento y el impacto de los modelos de IA.
- 📌El programa tiene como objetivo crear pruebas de referencia desafiantes que se centren en la seguridad y el impacto social de la IA.
- 📌Anthropic espera que su programa sea "un catalizador para el progreso, para lograr un futuro en el que la evaluación integral de la IA se convierta en un estándar de la industria."
