Studie zeigt Missbrauch spezifischer Wörter in KI-generierten Artikeln

Eine Analyse wissenschaftlicher Publikationen der letzten zehn Jahre zeigt, dass Forscher eine Übernutzung von „Stil“-Wörtern durch KI-Modelle festgestellt haben, Wörter, die vor einigen Jahren noch selten verwendet wurden.

In einer noch nicht begutachteten Studie verwendeten die Forscher eine neuartige, an die Epidemiologie angelehnte Methode. Durch die Analyse der „übermäßigen Wortverwendung“ in biomedizinischen Publikationen konnten sie aufzeigen, wie große Sprachmodelle bestimmte Wörter übermäßig verwenden. Die Ergebnisse bieten interessante Einblicke in den Einfluss von KI in der Wissenschaft und deuten darauf hin, dass mindestens 10 % der Zusammenfassungen im Jahr 2024 mit großen Sprachmodellen bearbeitet wurden.

Bildquelle: Das Bild wurde mit KI generiert und stammt von Midjourney.

Die Studie basiert auf einer umfassenden Analyse von 14 Millionen biomedizinischen Zusammenfassungen aus PubMed aus den Jahren 2010 bis 2024. Die Forscher verglichen Publikationen, die vor 2023 veröffentlicht wurden, mit solchen, die nach der breiten kommerziellen Verfügbarkeit von großen Sprachmodellen wie ChatGPT erschienen sind. Sie stellten fest, dass einige früher als „ungewöhnlich“ geltende Wörter, wie „gründlich“, jetzt 25-mal häufiger verwendet werden als früher, während andere Wörter wie „zeigen“ und „hervorheben“ einen ähnlichen Anstieg verzeichneten. Auch einige „häufige“ Wörter nahmen zu: Wörter wie „potenziell“, „gefunden“ und „schlüssel“ verzeichneten einen Anstieg um bis zu 4 %.

Die Forscher weisen darauf hin, dass dieser deutliche Anstieg ohne Erklärung durch ein dringendes globales Ereignis im Wesentlichen beispiellos ist. Sie fanden heraus, dass die übermäßige Verwendung von Wörtern in den Jahren 2013 bis 2023 mit realen Ereignissen in Verbindung stehende Substantive wie „Ebola“, „Coronavirus“ und „Lockdown“ enthielt. Die übermäßige Verwendung von Wörtern im Jahr 2024 bestand jedoch fast ausschließlich aus „Stil“-Wörtern. Quantitativ betrachtet, waren bei den 280 übermäßigen „Stil“-Wörtern des Jahres 2024 zwei Drittel Verben und etwa ein Fünftel Adjektive.

Anhand dieser übermäßigen Stilwörter als „Markierungen“ für die Verwendung von ChatGPT schätzen die Forscher, dass etwa 15 % der in Ländern wie China, Südkorea und Taiwan veröffentlichten Publikationen jetzt von KI bearbeitet werden, während dieser Anteil in englischsprachigen Ländern wie Großbritannien bei 3 % liegt. Große Sprachmodelle könnten daher ein effektives Werkzeug für Nicht-Muttersprachler sein, um in einem englisch dominierten Bereich erfolgreich zu sein.

Wichtigste Punkte:

🔍 Durch die Analyse biomedizinischer Publikationen stellten Forscher fest, dass KI-Modelle einige „Stil“-Wörter übermäßig verwenden, die vor einigen Jahren noch selten verwendet wurden.

🔍 Die breite kommerzielle Verfügbarkeit großer Sprachmodelle führte zu einer deutlichen Zunahme der Häufigkeit bestimmter Wörter, was darauf hindeutet, dass der Einfluss von KI auf die Wissenschaft beispiellos sein könnte.

🔍 In nicht-englischsprachigen Ländern liegt der Anteil der von KI verarbeiteten Publikationen bei etwa 15 %, was darauf hindeutet, dass große Sprachmodelle ein effektives Werkzeug für Nicht-Muttersprachler sein könnten, um in einem englisch dominierten Bereich erfolgreich zu sein.