Un análisis de 14 millones de resúmenes de PubMed revela que, desde el lanzamiento de ChatGPT, los generadores de texto con IA han influido en al menos el 10% de los resúmenes científicos, incluso en porcentajes superiores en ciertas áreas y países.
Investigadores de la Universidad de Tübingen y la Universidad Northwestern estudiaron los cambios lingüísticos en 14 millones de resúmenes científicos entre 2010 y 2024. Descubrieron que ChatGPT y generadores de texto con IA similares han provocado un aumento significativo en el uso de ciertos vocablos estilísticos.
Los investigadores identificaron primero las palabras que aparecieron significativamente más en 2024 que en años anteriores. Estas palabras incluían muchos verbos y adjetivos típicos del estilo de escritura de ChatGPT, como "explorar a fondo", "complejo", "mostrar" y "destacar".
Basándose en estas palabras clave, los investigadores estimaron que, en 2024, los generadores de texto con IA influyeron en al menos el 10% de todos los resúmenes de PubMed. En algunos casos, esta influencia superó incluso la de términos como "Covid", "pandemia" o "Ébola" en sus respectivos períodos.
Los investigadores encontraron que en subgrupos de PubMed de países como China y Corea del Sur, aproximadamente el 15% de los resúmenes fueron generados con ChatGPT, mientras que en el Reino Unido solo fue el 3%. Sin embargo, esto no significa necesariamente que los autores británicos usen menos ChatGPT.
De hecho, según los investigadores, el uso real de generadores de texto con IA podría ser mucho mayor. Muchos investigadores editan los textos generados por IA para eliminar las palabras clave típicas. Los hablantes nativos podrían tener una ventaja en este aspecto, ya que es más probable que noten este tipo de frases. Esto dificulta la determinación de la proporción real de resúmenes afectados por la IA.
En la medida en que se puede medir, el uso de IA es particularmente alto en ciertas revistas, como Frontiers y MDPI (alrededor del 17%), e incluso llega al 20% en revistas de TI. En las revistas de TI, el porcentaje de autores chinos es el más alto, alcanzando el 35%.
Para los autores científicos, la IA puede ayudar a que los artículos sean más legibles. El autor del estudio, Dmitry Kobak, afirma que la IA generativa específica para resúmenes no es necesariamente el problema.
Sin embargo, los generadores de texto con IA también pueden inventar hechos, reforzar sesgos, e incluso plagiar, y podrían reducir la diversidad y la originalidad de los textos científicos.
Irónicamente, el modelo de lenguaje científico de código abierto "Galactica", lanzado por Meta poco antes del lanzamiento de ChatGPT, recibió fuertes críticas de algunos miembros de la comunidad científica, lo que obligó a Meta a retirarlo. Esto claramente no impidió que la IA generativa entrara en la redacción científica, pero podría haber impedido el lanzamiento de un sistema optimizado específicamente para esta tarea.
Puntos clave:
😮 Un análisis de resúmenes de PubMed muestra que al menos el 10% de los resúmenes científicos se han visto afectados por generadores de texto con IA desde el lanzamiento de ChatGPT.
😯 En subgrupos de PubMed de países como China y Corea del Sur, aproximadamente el 15% de los resúmenes fueron generados con ChatGPT, mientras que en el Reino Unido solo fue el 3%.
😲 Los generadores de texto con IA pueden inventar hechos, reforzar sesgos e incluso plagiar, por lo que los investigadores piden una reevaluación de las directrices sobre el uso de generadores de texto con IA en la ciencia.