A Anthropic lançou um programa para financiar o desenvolvimento de novos tipos de benchmarks para avaliar o desempenho e o impacto de modelos de IA, incluindo modelos generativos como seu próprio Claude.
A Anthropic anunciou o programa na segunda-feira, oferecendo financiamento a organizações terceirizadas capazes de "medir eficazmente as capacidades avançadas dos modelos de IA", como a empresa afirmou em um post de blog. Interessados podem se candidatar, com avaliações em andamento.
“Nosso investimento nessas avaliações visa melhorar todo o campo da segurança da IA, fornecendo ferramentas valiosas que beneficiam todo o ecossistema”, escreveu a Anthropic em seu blog oficial. “Desenvolver avaliações de alta qualidade e relacionadas à segurança continua sendo um desafio, e a demanda está superando a oferta.”
Como destacamos anteriormente, existe um problema com os benchmarks de IA. Os benchmarks mais frequentemente citados para IA hoje muitas vezes não capturam bem a maneira como uma pessoa comum realmente usa o sistema testado. Além disso, alguns benchmarks, especialmente aqueles lançados antes do advento da IA generativa moderna, podem nem mesmo medir o que afirmam medir, devido à sua idade.
A solução proposta pela Anthropic, de alto nível e aparentemente difícil, é criar benchmarks desafiadores por meio de novas ferramentas, infraestrutura e métodos, com foco na segurança e no impacto social da IA.
A empresa pediu especificamente testes que avaliem a capacidade dos modelos de realizar tarefas como executar ataques cibernéticos, "aprimorar" armas de destruição em massa (como armas nucleares) e manipular ou enganar pessoas (por meio de deepfakes ou desinformação, por exemplo). Em relação aos riscos de IA que envolvem segurança nacional e defesa, a Anthropic disse que está comprometida em desenvolver um "sistema de alerta precoce" para identificar e avaliar os riscos, embora não tenha revelado no post do blog o que esse sistema poderia conter.
A Anthropic também disse que pretende apoiar, por meio do novo programa, pesquisas sobre benchmarks e tarefas "de ponta a ponta", explorando o potencial da IA em pesquisa científica, comunicação multilíngue e redução de vieses arraigados e toxicidade de autocensura.
Para atingir esse objetivo, a Anthropic vislumbra novas plataformas que permitam que especialistas em disciplinas desenvolvam suas próprias avaliações e experimentos em larga escala de modelos envolvendo "milhares" de usuários. A empresa disse que já contratou um coordenador em tempo integral para o programa e pode adquirir ou expandir projetos promissores.
O esforço da Anthropic para apoiar novos benchmarks de IA é louvável — desde que haja financiamento e pessoal suficientes, é claro. Mas, considerando as ambições comerciais da empresa na corrida da IA, confiar totalmente nela pode ser difícil.
A Anthropic também disse que espera que seu programa seja "um catalisador para o progresso, levando a um futuro em que avaliações abrangentes de IA se tornem o padrão da indústria". Esta é uma missão com a qual muitos esforços abertos e não afiliados a empresas podem concordar. No entanto, ainda está por ver se esses esforços estarão dispostos a colaborar com um fornecedor de IA cuja lealdade reside, em última análise, com seus acionistas.
Destaques:
- 📌A Anthropic lança um programa para financiar novos tipos de benchmarks para avaliar o desempenho e o impacto de modelos de IA.
- 📌O programa visa criar benchmarks desafiadores, com foco na segurança e no impacto social da IA.
- 📌A Anthropic espera que seu programa seja "um catalisador para o progresso, levando a um futuro em que avaliações abrangentes de IA se tornem o padrão da indústria."
