No rápido desenvolvimento da inteligência artificial de hoje, o fenômeno da “alucinação” da IA está se tornando cada vez mais frequente, causando consideráveis problemas a muitas empresas. Robôs de atendimento ao cliente descrevem com confiança produtos inexistentes, IAs financeiras inventam dados de mercado e robôs médicos fornecem conselhos médicos perigosos. Esses problemas não são mais meros incidentes engraçados, mas sim sérios riscos que afetam a reputação e a lucratividade das empresas.
Para enfrentar esse desafio, a startup de São Francisco, Patronus AI, anunciou o lançamento da primeira plataforma de autoatendimento global, projetada para detectar e prevenir falhas em sistemas de IA em tempo real. Essa plataforma é como um “corretor ortográfico” para sistemas de IA, capaz de identificar problemas antes que eles ocorram.
O CEO da Patronus AI, Anand Kannappan, em entrevista, afirmou que muitas empresas enfrentam falhas de IA em ambientes de produção, incluindo alucinações, vulnerabilidades de segurança e comportamentos imprevisíveis. De acordo com pesquisas da empresa, modelos de IA líderes, como o GPT-4, têm 44% de chance de repetir conteúdo protegido por direitos autorais ao receber prompts, e mesmo os modelos mais avançados têm mais de 20% de probabilidade de gerar respostas inseguras em testes de segurança básicos.
Para ajudar as empresas a melhorar a segurança de seus sistemas de IA, a Patronus AI oferece uma série de recursos inovadores. O recurso mais notável, o “avaliador”, permite que as empresas criem regras de avaliação personalizadas usando inglês simples. Essa flexibilidade permite que empresas de todos os setores se adaptem às suas necessidades específicas; empresas de serviços financeiros podem se concentrar na conformidade, enquanto instituições médicas podem se concentrar na privacidade do paciente e na precisão médica.
O núcleo da plataforma é o modelo inovador de detecção de alucinações chamado Lynx, que apresenta uma precisão 8,3% maior que a do GPT-4 na identificação de imprecisões médicas. Além disso, a plataforma opera em dois modos: um para monitoramento em tempo real e outro para análise aprofundada. Além dos tradicionais verificadores de erros, a empresa também desenvolveu ferramentas especializadas, como o CopyrightCatcher (ferramenta de detecção de direitos autorais) e o FinanceBench (benchmark de desempenho financeiro), para fornecer às empresas uma proteção abrangente contra falhas de IA.
Para tornar essas ferramentas de segurança acessíveis a mais empresas, a Patronus AI utiliza um modelo de preços de pagamento sob demanda, com um preço inicial de US$ 10 para cada 1.000 chamadas de API. Adotadores iniciais incluem grandes empresas como HP, AngelList e Pearson, demonstrando a importância dada ao investimento em segurança de IA.
No rápido desenvolvimento da IA de hoje, ferramentas como a plataforma da Patronus AI não apenas ajudam as empresas a reduzir riscos, mas também contribuem para a conformidade com as futuras leis e regulamentos. À medida que os sistemas de IA continuam a evoluir, a capacidade de detectar e corrigir essas “alucinações” com precisão será um desafio importante para as empresas.
Acesso ao produto: https://www.patronus.ai/
Destaques:
🌟 A Patronus AI lançou a primeira API de autoatendimento global, projetada para detectar e prevenir em tempo real o fenômeno de alucinação da IA.
🛡️ A plataforma permite que as empresas criem regras de avaliação personalizadas usando inglês simples, oferecendo soluções flexíveis.
💰 Utiliza um modelo de pagamento sob demanda, tornando as ferramentas de segurança de IA acessíveis a mais empresas.