Uma análise de 14 milhões de resumos do PubMed revelou que, desde o lançamento do ChatGPT, geradores de texto de IA impactaram pelo menos 10% dos resumos científicos, com taxas ainda maiores em algumas áreas e países.
Pesquisadores da Universidade de Tübingen e da Northwestern University estudaram as mudanças de linguagem em 14 milhões de resumos científicos entre 2010 e 2024. Eles descobriram que o ChatGPT e geradores de texto de IA similares levaram a um aumento significativo de certos termos estilísticos.
Os pesquisadores primeiro identificaram termos que se tornaram significativamente mais frequentes em 2024 em comparação com anos anteriores. Esses termos incluem muitos verbos e adjetivos típicos do estilo de escrita do ChatGPT, como "explorar a fundo", "complexo", "demonstrar" e "destacar".
Com base nesses termos indicadores, os pesquisadores estimaram que, em 2024, geradores de texto de IA impactaram pelo menos 10% de todos os resumos do PubMed. Em alguns casos, esse impacto superou até mesmo o impacto de termos como "Covid", "pandemia" ou "Ebola" em seus respectivos períodos.
Os pesquisadores descobriram que, em subgrupos do PubMed de países como China e Coréia do Sul, cerca de 15% dos resumos foram gerados usando o ChatGPT, enquanto no Reino Unido, esse percentual foi de apenas 3%. No entanto, isso não significa necessariamente que autores britânicos usam menos o ChatGPT.
Na verdade, segundo os pesquisadores, a porcentagem real de uso de geradores de texto de IA pode ser muito maior. Muitos pesquisadores editam textos gerados por IA para remover termos indicadores típicos. Falantes nativos podem ter uma vantagem aqui, pois têm maior probabilidade de notar esses termos. Isso torna difícil determinar a verdadeira proporção de resumos afetados pela IA.
Na medida do que foi mensurável, o uso de IA foi particularmente alto em periódicos como Frontiers e MDPI (cerca de 17%) e ainda maior em periódicos de TI (20%). Em periódicos de TI, a proporção de autores chineses foi a mais alta, chegando a 35%.
Para autores científicos, a IA pode ajudar a tornar os artigos mais legíveis. O autor do estudo, Dmitry Kobak, afirma que a IA geradora de resumos não é necessariamente o problema.
No entanto, os geradores de texto de IA também podem inventar fatos, reforçar vieses e até mesmo plagiar, além de diminuir a diversidade e a originalidade dos textos científicos.
Ironicamente, o modelo de linguagem científica de código aberto "Galactica", lançado pela Meta pouco antes do ChatGPT, foi duramente criticado por alguns na comunidade científica, forçando a Meta a retirá-lo. Isso claramente não impediu a IA generativa de entrar na escrita científica, mas pode ter impedido o lançamento de um sistema otimizado especificamente para essa tarefa.
Destaques:
😮 Análise de resumos do PubMed revela que pelo menos 10% dos resumos científicos foram afetados por geradores de texto de IA desde o lançamento do ChatGPT.
😯 Em subgrupos do PubMed de países como China e Coréia do Sul, cerca de 15% dos resumos foram gerados usando o ChatGPT, enquanto no Reino Unido, apenas 3%.
😲 Geradores de texto de IA podem inventar fatos, reforçar vieses e até mesmo plagiar, levando pesquisadores a pedirem uma reavaliação das diretrizes para o uso de geradores de texto de IA na ciência.