No rápido desenvolvimento da inteligência artificial, o fenômeno da "alucinação" de IA está se tornando cada vez mais frequente, causando grandes problemas para muitas empresas. Chatbots de atendimento ao cliente descrevem com confiança produtos inexistentes, IAs financeiras inventam dados de mercado e robôs médicos fornecem conselhos médicos perigosos. Esses problemas não são mais apenas curiosidades, mas sim riscos significativos que afetam a reputação e os lucros das empresas. Para enfrentar esse desafio, a startup sediada em São Francisco, Patronus AI, anunciou o lançamento da primeira plataforma de autoatendimento global, projetada para detectar e prevenir em tempo real

A 'Patronus AI lançou uma ferramenta de detecção de direitos autorais'; 'O GPT-4 da OpenAI foi apontado como o que apresenta os problemas mais graves de violação de direitos autorais'; 'Engenheiros da Microsoft apontam que ferramentas de geração de imagens de IA podem representar um perigo para a sociedade'

A Patronus AI lançou o kit de testes SimpleSafetyTests, revelando vulnerabilidades de segurança críticas em sistemas de IA como o ChatGPT. Os testes abrangem cinco áreas de risco de alta prioridade, incluindo suicídio, abuso infantil e danos corporais, expondo fraquezas significativas em 11 LLMs. O estudo destaca que prompts de sistema seguros podem reduzir respostas inseguras, mas os resultados sugerem que sistemas de produção podem precisar de salvaguardas adicionais. Os resultados dos testes indicam que os LLMs precisam de soluções de segurança rigorosas e personalizadas antes de serem aplicados em situações do mundo real.

A Patronus AI é uma empresa de tecnologia sediada nos EUA focada em segurança e governança de modelos de IA. A empresa acaba de concluir uma rodada de financiamento Série A de US$ 3 milhões, liderada pela Lightspeed China. A Patronus AI fornece principalmente aos clientes corporativos uma plataforma de avaliação, monitoramento e aprimoramento da segurança de modelos de IA. A empresa utiliza redes generativas adversárias para fornecer serviços de avaliação de segurança de modelos de IA para clientes corporativos. A Patronus AI afirmou que usará este financiamento para acelerar o desenvolvimento de produtos e expandir sua equipe de P&D.