Recentemente, o chatbot de IA da Anthropic, Claude, voltou a ser alvo de controvérsias sobre seu desempenho. Um post no Reddit alegando que "Claude ficou muito mais burro recentemente" gerou grande atenção, com muitos usuários relatando uma queda na capacidade do Claude, incluindo perda de memória e queda na capacidade de codificação.
Em resposta, o executivo da Anthropic, Alex Albert, afirmou que a empresa "não encontrou nenhum problema generalizado" em sua investigação e confirmou que não houve alterações no modelo Claude 3.5 Sonnet ou no pipeline de raciocínio. Para aumentar a transparência, a Anthropic publicou as instruções do sistema do modelo Claude em seu site.
Este padrão de feedback do usuário sobre a degradação da IA sendo negado pela empresa não é inédito. No final de 2023, o ChatGPT da OpenAI enfrentou questionamentos semelhantes. Analistas do setor sugerem que as causas desse fenômeno podem incluir: aumento das expectativas dos usuários ao longo do tempo, variações naturais na saída da IA e restrições temporárias de recursos computacionais.
No entanto, mesmo que o modelo subjacente não tenha sofrido alterações significativas, esses fatores ainda podem levar os usuários a perceberem uma queda no desempenho. A OpenAI já apontou que o comportamento da IA é inerentemente imprevisível e que manter e avaliar o desempenho de IAs generativas em larga escala é um desafio enorme.
A Anthropic afirma que continuará a monitorar o feedback do usuário e a trabalhar para melhorar a estabilidade do desempenho do Claude. Este incidente destaca os desafios que as empresas de IA enfrentam para manter a consistência do modelo e a importância de melhorar a avaliação do desempenho da IA e a transparência da comunicação.
