Nos últimos anos, os modelos de linguagem visual de grande porte (Large Vision Language Models, LVLMs) demonstraram capacidades extraordinárias em tarefas de compreensão de imagens e multimodais. No entanto, o problema de "alucinação" tornou-se cada vez mais proeminente. Para enfrentar esse desafio, a equipe do Future Life Lab do Grupo Taotian propôs um novo método chamado "Otimização de Preferência de Tokens" (Token Preference Optimization, TPO) e introduziu um método de autocalibração.

No campo da inteligência artificial, o 'problema de alucinação' em modelos de linguagem grandes tem sido um desafio crucial para a indústria. Recentemente, os resultados de um teste baseado no sistema de avaliação HHEM-2.1-Open mostraram que o modelo GLM-4-9B da ZhiPu AI apresentou resultados notáveis. Os dados do teste mostraram que, entre os 85 modelos de linguagem grandes avaliados, o GLM-4-9B conquistou o primeiro lugar com uma taxa de consistência factual de 98,7% e uma taxa de resposta de 100%. É particularmente digno de nota que a taxa de alucinação do modelo seja de apenas 1,3%, um resultado...

Uma característica amplamente considerada uma falha da inteligência artificial – a 'alucinação' – tornou-se a chave para uma descoberta científica. De acordo com a revista Fortune, o professor David Baker, um dos ganhadores do Prêmio Nobel de Química de 2024, utilizou a característica de 'alucinação' de modelos de IA para alcançar um avanço científico significativo. Professor da Universidade de Washington, Baker é o único cientista americano entre os três laureados com o Prêmio Nobel de Química deste ano. Ele utilizou um software de computador para inventar com sucesso novas proteínas, uma conquista que acabou lhe rendendo a distinção. Nota da imagem: Imagem gerada por IA, imagem licenciada.

Na Conferência Mundial Baidu 2024, o fundador da Baidu, Li Yanhong, apresentou uma série de avanços notáveis ​​na área de IA. Ele apontou que o avanço mais significativo da tecnologia de modelos grandes nos últimos dois anos reside na solução básica do problema de 'alucinação', o que marca um salto qualitativo na precisão das respostas de IA, transformando-a de um 'falar bobagem com seriedade' em um assistente inteligente confiável. Na conferência, Li Yanhong apresentou principalmente a tecnologia de geração de imagens a partir de texto aprimorada por busca iRAG, recentemente lançada pela Baidu. Essa tecnologia integra de forma inovadora os vastos recursos de imagens acumulados pela plataforma de busca Baidu e tecnologia avançada.

A Conferência Baidu World 2024 foi realizada no Centro de Exposições de Xangai em 12 de novembro de 2024. O evento incluiu um fórum principal, quatro fóruns temáticos e mais de trinta aulas públicas de inteligência artificial. O fundador da Baidu, Robin Li, fez um discurso no fórum principal intitulado "Os aplicativos chegaram", apresentando os mais recentes avanços tecnológicos e resultados de aplicação da Baidu na área de inteligência artificial, e realizando uma discussão aprofundada sobre as tendências futuras do setor.

No rápido desenvolvimento da inteligência artificial, o fenômeno da "alucinação" de IA está se tornando cada vez mais frequente, causando grandes problemas para muitas empresas. Chatbots de atendimento ao cliente descrevem com confiança produtos inexistentes, IAs financeiras inventam dados de mercado e robôs médicos fornecem conselhos médicos perigosos. Esses problemas não são mais apenas curiosidades, mas sim riscos significativos que afetam a reputação e os lucros das empresas. Para enfrentar esse desafio, a startup sediada em São Francisco, Patronus AI, anunciou o lançamento da primeira plataforma de autoatendimento global, projetada para detectar e prevenir em tempo real

A equipe de pesquisa da Disney lançou recentemente um novo método de compressão de imagem que utiliza o modelo Stable Diffusion V1.2 de código aberto. Este método consegue gerar imagens mais realistas a taxas de bits mais baixas do que os concorrentes. Este novo método é chamado de 'Codec' e, embora seja muito mais complexo do que os codecs tradicionais JPEG e AV1, seu desempenho é impressionante. O estudo mostra que o novo método se destaca na recuperação de detalhes da imagem, ao mesmo tempo em que reduz significativamente os custos de treinamento. A pesquisa...

O surgimento de modelos de linguagem grandes (LLMs), especialmente a popularização de aplicativos como o ChatGPT, mudou completamente a maneira como interagimos com máquinas. Esses modelos conseguem gerar textos coerentes e abrangentes, o que é impressionante. No entanto, apesar de sua grande capacidade, os LLMs são propensos a 'alucinações', ou seja, a gerar conteúdo que parece real, mas na verdade é fictício, sem sentido ou inconsistente com a solicitação. Pesquisadores da Universidade de Harvard realizaram um estudo aprofundado sobre o fenômeno de 'alucinação' em LLMs, descobrindo que sua raiz está no princípio de funcionamento dos LLMs. Os LLMs funcionam processando grandes quantidades de dados de texto...

O assistente de IA da Meta relatou falsamente uma tentativa de assassinato contra o ex-presidente Trump que nunca ocorreu, gerando discussões generalizadas. Executivos da Meta lamentaram o erro. Restrições na programação da IA levaram a essa resposta enganosa; inicialmente, a IA foi configurada para não responder a perguntas sobre assassinatos de Trump, mas depois que as restrições foram removidas, a IA ainda forneceu informações incorretas em casos isolados. Esse fenômeno é conhecido como 'alucinação' e é um desafio comum para a IA generativa. Problemas semelhantes também afetaram o Google, cujo recurso de preenchimento automático de pesquisa foi acusado de censurar Trump.

'Dictionary.com escolheu 'alucinação' como a palavra do ano de 2023, refletindo a crescente prevalência da inteligência artificial. Dados de busca mostram um aumento de 45% nas pesquisas por 'alucinação', com um aumento geral de 62% nas buscas por termos relacionados à IA em comparação com o ano anterior. O CEO do Google, Sundar Pichai, apontou que o problema das 'alucinações' da IA ainda não foi resolvido. Originária do latim, a palavra destaca o impacto contínuo da inteligência artificial nas mudanças sociais.'

O OpenAI GPT-4 se destacou no ranking da Vectara, apresentando apenas 3% de taxa de alucinação em resumos de documentos, atingindo 97% de precisão. Os resultados da Vectara mostram que o GPT-4 Turbo e o GPT-4 tiveram o melhor desempenho, seguidos pelo GPT-3.5 Turbo. Entre os modelos não OpenAI, o Meta Llama obteve a classificação mais alta. A Vectara lançou um modelo de código aberto que pode verificar a taxa de alucinação de modelos de linguagem, melhorando a confiabilidade dos sistemas de IA generativa. Os modelos do Google também estão presentes no ranking.

O Dicionário Cambridge anunciou 'alucinação' como a palavra do ano de 2023, com a tecnologia de IA redefinindo o conceito. Ferramentas de IA como o ChatGPT geraram grande interesse, mas também levantaram preocupações sobre a confiabilidade dos textos gerados por IA. As 'alucinações' de IA estão tendo impacto no mundo real, envolvendo situações práticas como casos jurídicos fictícios. Um especialista em ética de IA da Universidade de Cambridge aponta que as 'alucinações' de IA levam à personificação da inteligência artificial.

Especialistas estão preocupados com o fenômeno de alucinação presente em plataformas populares de IA, como o ChatGPT. Alucinação de IA é um fenômeno em que informações parecem corretas, mas na verdade são imprecisas. O ChatGPT foi apontado por fornecer informações falsas, levantando preocupações entre os cientistas.

A startup americana de IA Galileo lançou uma nova ferramenta para ajudar os usuários a entender as alucinações de grandes modelos de IA. O Galileo Studio possui recursos de monitoramento em tempo real para otimizar o desempenho de LLMs. A Galileo introduziu novas métricas e salvaguardas para avaliar a veracidade das saídas do modelo. Resolver o problema das alucinações garante que as saídas dos LLMs sejam precisas e conformes.

As alucinações em modelos grandes são principalmente classificadas em três categorias: conflito com a entrada, com o contexto e com os fatos. Em comparação com os modelos tradicionais, a avaliação de alucinações em modelos grandes enfrenta novos desafios, como grande escala de dados, alta generalidade e dificuldade de detecção. A mitigação de alucinações pode ser abordada a partir dos aspectos de pré-treinamento, ajuste fino e aprendizado por reforço, mas ainda existem desafios como a avaliação confiável. Em geral, a avaliação e a mitigação de alucinações em modelos grandes ainda precisam de pesquisas aprofundadas para promover a aplicação prática dos modelos grandes.