Eine aktuelle Studie des Harvard Kennedy Schools zum Thema „Falschinformationen“ hat ergeben, dass von künstlicher Intelligenz generierte, gefälschte Forschungsarbeiten in wissenschaftliche Suchmaschinen wie Google Scholar gelangen. Dies kann das öffentliche Vertrauen in wissenschaftliche Erkenntnisse untergraben und die Produktentwicklung in Branchen, die auf Spitzenforschung angewiesen sind, beeinträchtigen.
Die Forscher identifizierten 139 Artikel, die wahrscheinlich von KI-Tools erstellt wurden. Über die Hälfte dieser Arbeiten behandelte Themen aus den Bereichen Gesundheit, Umwelt und Informatik. Diese gefälschten Forschungsarbeiten können zu irreführenden Produkteinführungen und Ressourcenverschwendung führen und das öffentliche Vertrauen in die Wissenschaft und die Zuverlässigkeit evidenzbasierter Entscheidungen untergraben.
Sid Rao, CEO und Mitbegründer des KI-Unternehmens Positron Networks, erklärt, dass große Sprachmodelle Ergebnisse basierend auf Wahrscheinlichkeiten generieren, die von den Verzerrungen in den Trainingsdaten des Basismodells abhängen. Dies kann zu Verzerrungen im Text führen, die nichts mit der wissenschaftlichen Methode zu tun haben, die zur Erstellung der Arbeit verwendet wurde. Diese Verzerrungen können zu ungenauen Ergebnissen und raffiniert falschen Inhalten führen.
Rao warnt davor, dass KI-Halluzinationen zu ungenauen Ergebnissen und raffiniert falschen Inhalten führen können. Beispielsweise kann eine Arbeit zu richtigen Schlussfolgerungen gelangen, aber dennoch nicht zitierte oder subjektive unterstützende Aussagen enthalten. Selbst bei einer Fehler- oder Halluzinationsrate von nur 1 % untergraben diese beiden Probleme das Vertrauen in die wissenschaftliche Forschung grundlegend.
Die Auswirkungen von KI-generierten, gefälschten Forschungsarbeiten auf Investitionen in Forschung und Entwicklung sind erheblich. Wenn Investoren nicht unterscheiden können, was echt und was algorithmischer Unsinn ist, werden sie sich zurückziehen. Forschung und Entwicklung sind bereits riskant genug; die Unsicherheit durch fragwürdige KI-gestützte Publikationen verschlimmert die Lage.
Darüber hinaus können die Auswirkungen gefälschter Dokumente auf die kommerzielle Regulierung sehr schwerwiegend sein. Unzuverlässige Forschung verwirrt die Aufsichtsbehörden. Wenn die wissenschaftliche Grundlage eines Produkts nicht zuverlässig ist, werden die Gesetzgeber entweder eine übermäßige Regulierung zum Schutz der Verbraucher verabschieden oder – noch schlimmer – auf Grundlage falscher Daten schlechte politische Entscheidungen treffen.
Die Forscher fordern eine verstärkte Regulierung von KI-generierten, gefälschten Forschungsarbeiten und rufen die wissenschaftliche Gemeinschaft und die Aufsichtsbehörden dazu auf, Maßnahmen zu ergreifen, um die Zuverlässigkeit und Authentizität wissenschaftlicher Forschung zu gewährleisten.