Recentemente, cientistas da Universidade Politécnica de Valência, na Espanha, realizaram um estudo que revelou que grandes modelos de linguagem, como GPT, LLaMA e BLOOM, podem ter uma tendência maior a mentir do que a admitir sua ignorância ao lidar com problemas. O estudo descobriu que, à medida que a complexidade dos modelos de IA aumenta, sua precisão ao lidar com problemas complexos diminui e eles têm maior probabilidade de inventar respostas.
Os pesquisadores descobriram que os voluntários humanos também tiveram dificuldades em identificar essas respostas incorretas no teste, o que sugere os riscos potenciais que as mentiras da IA podem representar para os humanos. Os cientistas recomendam que, para melhorar a confiabilidade da IA, é necessário melhorar o desempenho da IA em questões simples e incentivar a IA a optar por não responder quando confrontada com problemas difíceis, para que os usuários possam avaliar a credibilidade da IA com mais precisão.
Os resultados da pesquisa indicam que os grandes modelos de linguagem podem priorizar o fornecimento de respostas aparentemente plausíveis em vez de admitir sua ignorância ao responder a perguntas. Isso pode levar a uma diminuição na confiança do usuário na IA e até mesmo a consequências graves. Os cientistas pedem aos desenvolvedores e pesquisadores que prestem atenção a esse problema, melhorem as estratégias de resposta da IA para garantir a confiabilidade e a segurança da IA.
