Recentemente, uma equipe de pesquisa da Universidade de Nova York publicou um estudo que revelou a vulnerabilidade dos modelos de linguagem de grande escala (LLMs) durante o treinamento de dados. Eles descobriram que mesmo uma quantidade mínima de informações falsas, apenas 0,001% dos dados de treinamento, pode levar a erros significativos em todo o modelo. Essa descoberta é particularmente preocupante para o setor de saúde, pois informações incorretas podem afetar diretamente a segurança do paciente.
Nota da imagem: Imagem gerada por IA, fornecida pela Midjourney.
Em um artigo publicado na revista Nature Medicine, os pesquisadores apontam que, embora os LLMs apresentem um desempenho excelente, se seus dados de treinamento forem contaminados com informações falsas, esses modelos ainda podem apresentar um desempenho tão bom quanto os modelos não afetados em alguns benchmarks de código aberto. Isso significa que, em testes convencionais, podemos não perceber os riscos potenciais desses modelos.
Para verificar isso, a equipe de pesquisa realizou um experimento em um conjunto de dados de treinamento chamado "The Pile", onde adicionaram intencionalmente 150.000 artigos médicos falsos gerados por IA. Em apenas 24 horas, eles geraram esse conteúdo. O estudo mostrou que substituir 0,001% do conjunto de dados, mesmo um pequeno número de 1 milhão de tokens de treinamento, pode levar a um aumento de 4,8% no conteúdo prejudicial. O custo desse processo foi extremamente baixo, custando apenas US$ 5.
Esse ataque de envenenamento de dados não requer acesso direto aos pesos do modelo. Os atacantes precisam apenas publicar informações prejudiciais online para enfraquecer a eficácia dos LLMs. A equipe de pesquisa destaca que essa descoberta destaca os riscos significativos associados ao uso de ferramentas de IA na área médica. Ao mesmo tempo, eles também mencionam que já existem casos em que algumas plataformas de IA para saúde, como o MyChart, geram informações incorretas ao responder automaticamente às perguntas dos pacientes, causando-lhes inconvenientes.
Portanto, os pesquisadores pedem aos desenvolvedores de IA e provedores de saúde que reconheçam essa vulnerabilidade ao desenvolver LLMs médicos. Eles recomendam que, até que a segurança possa ser garantida, os LLMs não devem ser usados para tarefas críticas, como diagnóstico ou tratamento.
Destaques:
🌐 O estudo mostra que apenas 0,001% de informações falsas podem tornar os modelos de linguagem de grande escala (LLMs) ineficazes.
🩺 Na área médica, a disseminação de informações falsas pode afetar gravemente a segurança do paciente.
💡 Os pesquisadores recomendam que os LLMs não sejam usados para tarefas médicas importantes, como diagnóstico ou tratamento, até que a segurança seja garantida.
