Embora modelos de linguagem grandes como ChatGPT, Claude e Gemini sejam impressionantes, eles compartilham um grande problema: frequentemente geram alucinações. Este é um problema sério no campo da inteligência artificial, e até mesmo a Apple expressou preocupações sobre como sua futura Apple Intelligence lidará com alucinações. Felizmente, uma equipe de pesquisadores desenvolveu um detector de alucinações de IA que pode determinar se uma IA está fabricando conteúdo.
Nota da imagem: Imagem gerada por IA, fornecida pelo Midjourney.
Essas alucinações levaram a muitos erros embaraçosos e interessantes, e são uma das principais razões pelas quais IAs como o ChatGPT ainda não são mais práticas. Já vimos o Google ter que modificar seus resumos de pesquisa de IA porque a IA começou a dizer às pessoas que comer pedras era seguro e que colocar cola em pizza também era seguro. Houve até advogados que usaram o ChatGPT para ajudar a escrever documentos judiciais e foram multados porque o chatbot inventou citações nos documentos.
De acordo com o artigo, o novo algoritmo desenvolvido pelos pesquisadores consegue ajudar a determinar se as respostas geradas pela IA são precisas em cerca de 79% das vezes. Claro, não é um histórico perfeito, mas é 10% melhor do que outros métodos principais atualmente disponíveis.
Chatbots como Gemini e ChatGPT podem ser muito úteis, mas também são propensos a produzir respostas inventadas. Esta pesquisa foi conduzida por membros do departamento de Ciência da Computação da Universidade de Oxford. Os pesquisadores explicam no artigo que o método usado é relativamente simples.
Primeiro, eles fazem o chatbot responder à mesma solicitação várias vezes, geralmente cinco a dez vezes. Em seguida, eles calculam um valor que chamamos de entropia semântica, que é uma medida da similaridade ou dissimilaridade do significado das respostas. Se o modelo responder de forma diferente a cada entrada de solicitação, a pontuação de entropia semântica será maior, indicando que a IA pode estar inventando respostas. No entanto, se as respostas forem todas iguais ou semelhantes em significado, a pontuação de entropia semântica será menor, indicando que as respostas fornecidas são mais consistentes e provavelmente verdadeiras. Não é um detector de alucinações de IA 100% preciso, mas é uma abordagem interessante.
Outros métodos dependem da chamada entropia ingênua, que geralmente verifica se a redação das respostas é diferente, em vez de seu significado. Portanto, é menos provável que detecte alucinações com precisão como o cálculo da entropia semântica, pois não se concentra no significado por trás das palavras nas frases.
Os pesquisadores dizem que o algoritmo pode ser adicionado a chatbots como o ChatGPT por meio de um botão, permitindo que os usuários obtenham uma "pontuação de certeza" para as respostas que recebem para suas solicitações. A integração direta de um detector de alucinações de IA em chatbots é atraente, então é compreensível a utilidade de adicionar essa ferramenta a vários chatbots.