Anthropic anunció el lunes el lanzamiento de un nuevo programa para financiar el desarrollo de nuevos estándares que evalúen el rendimiento y el impacto de los modelos de inteligencia artificial, incluyendo modelos generativos como su propio Claude.
Según una publicación en el blog oficial de Anthropic, la compañía proporcionará financiación a organizaciones externas para desarrollar herramientas que "midan eficazmente las capacidades avanzadas de los modelos de IA". Las organizaciones interesadas pueden presentar sus solicitudes, y las evaluaciones se realizarán de forma continua.
Anthropic afirma que esta inversión tiene como objetivo mejorar la seguridad de la IA en general, proporcionando herramientas valiosas para todo el ecosistema. La compañía considera que el desarrollo de evaluaciones de alta calidad relacionadas con la seguridad sigue siendo un desafío, y que la demanda supera la oferta.
El programa se centra en la seguridad de la IA y su impacto social, y planea crear estándares desafiantes mediante nuevas herramientas, infraestructuras y métodos. Anthropic solicita específicamente pruebas para evaluar la capacidad de los modelos en áreas como ciberataques, mejora de armas, manipulación o engaño. Además, la compañía trabaja en el desarrollo de un "sistema de alerta temprana" para identificar y evaluar los riesgos de la IA relacionados con la seguridad nacional y la defensa.
Anthropic también señala que el nuevo programa apoyará la investigación sobre el potencial de la IA en áreas como la investigación científica asistida, la comunicación multilingüe, la mitigación de sesgos y la autorregulación. Para lograr estos objetivos, la compañía prevé la creación de nuevas plataformas que permitan a los expertos desarrollar evaluaciones y realizar pruebas a gran escala.
Si bien esta iniciativa de Anthropic ha recibido elogios, también ha generado algunas dudas. Algunos opinan que la imparcialidad de los proyectos financiados podría verse comprometida debido a los intereses comerciales de la empresa. Además, algunos expertos cuestionan algunos de los riesgos de IA "catastróficos" y "engañosos" mencionados por Anthropic, argumentando que podrían desviar la atención de los problemas de regulación de la IA más urgentes en la actualidad.
Anthropic espera que este programa impulse la adopción de evaluaciones integrales de IA como estándar de la industria. Sin embargo, queda por ver si los grupos independientes de desarrollo de estándares de IA estarán dispuestos a colaborar con proveedores comerciales de IA.
