À medida que as empresas adotam cada vez mais modelos de linguagem grandes (LLMs), melhorar a precisão do conhecimento do modelo e reduzir as alucinações tornou-se um desafio importante. Pesquisadores do Meta AI apresentaram em um novo artigo uma "camada de memória escalável", que pode oferecer uma solução para esse problema. A ideia central da camada de memória escalável é adicionar mais parâmetros aos LLMs sem aumentar os recursos computacionais de tempo de inferência, melhorando assim sua capacidade de aprendizado. Essa arquitetura é adequada para cenários que exigem o armazenamento de uma grande quantidade de conhecimento factual, mas desejam manter a inferência rápida.

Recentemente, a Microsoft apresentou um pedido de patente para um método tecnológico que visa reduzir ou eliminar informações falsas geradas por inteligência artificial. A patente, intitulada "Interagindo com modelos de linguagem usando conhecimento externo e feedback", foi apresentada ao Escritório de Patentes e Marcas dos EUA (USPTO) no ano passado e publicada em 31 de outubro. O cerne da proposta é fornecer aos modelos de IA um "Sistema de Aprimoramento de Resposta" (RAS) que lhes permita extrair automaticamente mais informações com base nas consultas do usuário e verificar a "validade" de suas respostas. Especificamente, o sistema de aprimoramento de resposta...

No rápido desenvolvimento da inteligência artificial, o fenômeno da "alucinação" de IA está se tornando cada vez mais frequente, causando grandes problemas para muitas empresas. Chatbots de atendimento ao cliente descrevem com confiança produtos inexistentes, IAs financeiras inventam dados de mercado e robôs médicos fornecem conselhos médicos perigosos. Esses problemas não são mais apenas curiosidades, mas sim riscos significativos que afetam a reputação e os lucros das empresas. Para enfrentar esse desafio, a startup sediada em São Francisco, Patronus AI, anunciou o lançamento da primeira plataforma de autoatendimento global, projetada para detectar e prevenir em tempo real

Recentemente, uma ferramenta de transcrição de IA impulsionada pela tecnologia Whisper da OpenAI ganhou popularidade no setor médico. Muitos médicos e instituições médicas estão usando essa ferramenta para registrar e resumir encontros com pacientes. De acordo com a ABC News, pesquisadores descobriram que a ferramenta apresenta 'alucinações' em algumas ocasiões, às vezes até inventando conteúdo completamente. Esta ferramenta de transcrição, desenvolvida pela empresa Nabla, já transcreveu com sucesso mais de 7 milhões de conversas médicas e atualmente conta com mais de 30 mil usuários.

O surgimento de modelos de linguagem grandes (LLMs), especialmente a popularização de aplicativos como o ChatGPT, mudou completamente a maneira como interagimos com máquinas. Esses modelos conseguem gerar textos coerentes e abrangentes, o que é impressionante. No entanto, apesar de sua grande capacidade, os LLMs são propensos a 'alucinações', ou seja, a gerar conteúdo que parece real, mas na verdade é fictício, sem sentido ou inconsistente com a solicitação. Pesquisadores da Universidade de Harvard realizaram um estudo aprofundado sobre o fenômeno de 'alucinação' em LLMs, descobrindo que sua raiz está no princípio de funcionamento dos LLMs. Os LLMs funcionam processando grandes quantidades de dados de texto...

A trajetória da Microsoft no campo da inteligência artificial está passando por uma mudança significativa. Anteriormente ambiciosa em desenvolver seus próprios modelos de linguagem, agora a empresa está redirecionando seu foco para a parceria com a OpenAI e lançou um novo recurso de 'correção', com o objetivo de resolver o problema das 'alucinações' em conteúdo gerado por IA. De desenvolvimento próprio a colaboração: a evolução da estratégia de IA da Microsoft. A Microsoft inicialmente investiu muitos recursos no campo da IA generativa (GenAI), esperando criar modelos de IA que rivalizassem ou até superassem os modelos da série GPT da OpenAI. No entanto, durante o longo processo de pesquisa e desenvolvimento...

Recentemente, o Google anunciou o lançamento do novo modelo de IA de código aberto DataGemma, projetado para resolver o problema de 'alucinações' frequentemente encontrado em modelos de linguagem grandes (LLMs) ao lidar com dados estatísticos. Esse fenômeno de alucinação faz com que os modelos forneçam respostas imprecisas quando questionados sobre números e estatísticas. O lançamento do modelo DataGemma marca um avanço significativo da Google na área de IA. Nota da imagem: Imagem gerada por IA, provedor de licenciamento de imagens Midjourney. Redução de alucinações em consultas estatísticas.

Um estudo de instituições como a Universidade Cornell testou modelos de IA generativa como GPT-4o, Claude e Gemini para alucinações, descobrindo que eles produzem texto sem alucinações em apenas cerca de 35% das vezes, indicando que ainda há espaço para melhorias na confiabilidade da IA. A pesquisa utilizou fontes de autoridade em direito, saúde, história etc. para verificação de fatos e projetou um conjunto de perguntas que incluíam informações não cobertas pela Wikipédia. Os resultados mostraram que os modelos OpenAI tiveram o melhor desempenho geral, mas com melhorias limitadas em comparação com o GPT-3.5. O estudo indica que o tamanho do modelo não está relacionado à frequência de alucinações e que...

Duas pesquisas revelam que o conteúdo gerado por IA generativa pode ser considerado 'disparate', destacando o desafio que sua indiferença à precisão representa para os servidores públicos. As informações incorretas produzidas pela IA generativa diferem de mentiras intencionais; as pesquisas defendem que o termo 'disparate' é mais preciso e ajuda a melhorar a compreensão pública da tecnologia. Atualmente, as leis e regulamentos de IA são insuficientes para prevenir eficazmente os danos causados por essas informações incorretas. Os autores sugerem a introdução de regulamentos semelhantes aos do setor editorial, enfatizando a prevenção de 'declarações descuidadas' que possam causar danos sociais, garantindo que a verdade não seja múltipla.

Embora modelos de linguagem grandes como ChatGPT, Claude e Gemini sejam impressionantes, eles compartilham um grande problema: frequentemente produzem alucinações. Este é um problema sério no campo da IA, com a Apple inclusive expressando preocupações sobre como sua futura Apple Intelligence lidará com alucinações. Felizmente, uma equipe de pesquisadores agora desenvolveu um detector de alucinações de IA que pode determinar se uma IA está fabricando conteúdo.

O Galileo Lab lançou uma nova métrica para ajudar a melhorar a precisão da IA generativa. O OpenAI GPT-4 apresentou uma tendência de alucinação de 23% em tarefas básicas de perguntas e respostas. A nova métrica do Galileo Labs inclui precisão e consistência de contexto. Essas novas ferramentas podem ajudar as empresas a testar e mitigar problemas de alucinação em suas implementações de IA.

O modelo Galactica do Meta foi tirado do ar apenas três dias após seu lançamento devido a problemas de alucinação, e LeCun expressou seu pesar. O Galactica é considerado uma tentativa inicial de modelos de linguagem grandes e teve um impacto positivo em projetos subsequentes do Meta. O principal autor do modelo, Ross Taylor, admitiu que o modelo base não foi suficientemente verificado antes do lançamento, mas ainda destacou o valor da pesquisa. A vice-presidente de pesquisa de IA do Meta, Joelle Pineau, enfatizou que o Galactica era um projeto de pesquisa, não um produto. Gala

A LexisNexis revelou pela primeira vez em maio do ano passado o plano para lançar o Lexis+ IA, que utiliza modelos de linguagem grandes para responder a perguntas jurídicas. A LexisNexis removeu as restrições do Lexis+ IA, tornando-o amplamente disponível para clientes nos EUA. O Lexis+ IA oferece resultados confiáveis com links para citações jurídicas 'sem alucinações'. O Lexis+ IA pode realizar pesquisas conversacionais, redação de documentos, resumos de casos e análise de documentos. A LexisNexis afirma que o Lexis+ IA pode melhorar a

A Fujitsu anunciou duas novas tecnologias de confiança em IA projetadas para melhorar a confiabilidade de modelos de IA conversacional, incluindo tecnologias para detectar alucinações e ataques adversários. Essas tecnologias serão integradas à plataforma de IA da Fujitsu, "Kozuchi", com o objetivo de fornecer às empresas e usuários individuais ferramentas para avaliar a confiabilidade das respostas da IA conversacional e aumentar a segurança da IA. A primeira tecnologia visa detectar com alta precisão alucinações em respostas de IA conversacional, abordando potenciais problemas de informações enganosas. A segunda tecnologia...

A startup americana de IA Galileo lançou uma nova ferramenta para ajudar os usuários a entender as alucinações de grandes modelos de IA. O Galileo Studio possui recursos de monitoramento em tempo real para otimizar o desempenho de LLMs. A Galileo introduziu novas métricas e salvaguardas para avaliar a veracidade das saídas do modelo. Resolver o problema das alucinações garante que as saídas dos LLMs sejam precisas e conformes.