A Anthropic anunciou na segunda-feira um novo programa para financiar o desenvolvimento de novos benchmarks para avaliar o desempenho e o impacto de modelos de inteligência artificial (IA), incluindo modelos generativos como o seu próprio Claude.
De acordo com um post no blog oficial da Anthropic, a empresa fornecerá financiamento a organizações terceiras para desenvolver ferramentas que "meçam efetivamente as capacidades avançadas dos modelos de IA". As organizações interessadas podem se candidatar, e as avaliações serão feitas de forma contínua.
A Anthropic afirma que este investimento visa melhorar a segurança da IA como um todo, fornecendo ferramentas valiosas para todo o ecossistema. A empresa acredita que o desenvolvimento de avaliações de alta qualidade e relacionadas à segurança ainda é um desafio, e que a demanda excede a oferta.
O programa se concentra na segurança da IA e no impacto social, planejando criar benchmarks desafiadores por meio de novas ferramentas, infraestrutura e métodos. A Anthropic solicita especificamente testes para avaliar a capacidade dos modelos em áreas como ataques cibernéticos, aprimoramento de armas, manipulação ou engano. Além disso, a empresa está comprometida em desenvolver um "sistema de alerta precoce" para identificar e avaliar os riscos de IA relacionados à segurança nacional e à defesa.
A Anthropic também afirma que o novo programa apoiará pesquisas que explorem o potencial da IA em áreas como auxílio à pesquisa científica, comunicação multilíngue, mitigação de vieses e autorregulação. Para alcançar esses objetivos, a empresa imagina a construção de novas plataformas que permitam que especialistas desenvolvam avaliações e realizem testes em larga escala.
Embora a iniciativa da Anthropic tenha sido elogiada, também gerou algumas dúvidas. Alguns argumentam que a imparcialidade dos projetos financiados pode ser comprometida, considerando os interesses comerciais da empresa. Além disso, alguns especialistas expressaram ceticismo em relação a alguns riscos de IA "catastróficos" e "enganosos" mencionados pela Anthropic, sugerindo que isso pode desviar a atenção de questões mais urgentes de regulamentação de IA.
A Anthropic espera que este programa impulsione a adoção de avaliações abrangentes de IA como padrão da indústria. No entanto, ainda resta saber se grupos independentes de desenvolvimento de benchmarks de IA estarão dispostos a colaborar com fornecedores comerciais de IA.
