Eine aktuelle Studie des Tow Center for Digital Journalism der Columbia University schlägt Alarm bezüglich der Genauigkeit von KI-Suchdiensten. Die Studie zeigt, dass ChatGPT bei der Zitierung von Nachrichtenquellen schwerwiegende Genauigkeitsprobleme aufweist, von denen selbst Verlage, die direkt mit OpenAI zusammenarbeiten, nicht verschont bleiben.
Das Forschungsteam testete umfassend 200 Nachrichtenzitate von 20 verschiedenen Verlagen. Das Ergebnis ist erschreckend: In 153 Fällen lieferte ChatGPT fehlerhafte oder teilweise falsche Quellenangaben. Besonders besorgniserregend ist, dass das System nur in sieben Fällen zugegeben hat, die Quelle nicht finden zu können, und in den meisten Fällen Informationslücken einfach erfunden hat.
Die Forscher weisen darauf hin, dass ChatGPT, um ein gutes Nutzererlebnis zu gewährleisten, lieber Antworten erfindet, als Informationslücken einzugestehen. Besonders beunruhigend ist das selbstbewusste Auftreten des Systems bei der Präsentation dieser falschen Quellen – es zeigt keinerlei Unsicherheit.
Selbst renommierte Verlage wie die „New York Post“ und der „Atlantic“, die direkt mit OpenAI zusammenarbeiten, sind von diesem Problem betroffen. In einigen Fällen verlinkte ChatGPT sogar auf Webseiten, die Artikel ohne Genehmigung kopiert haben, anstatt auf die Originalquelle.
Matt Honan, Chefredakteur des „MIT Technology Review“, kommentierte dies wie folgt: „Als Verleger ist dies absolut nicht das, was wir sehen wollen, und derzeit gibt es nur sehr begrenzte Möglichkeiten zur Abhilfe.“
OpenAI reagierte auf diese besorgniserregenden Ergebnisse eher zurückhaltend. Das Unternehmen betonte, dass ChatGPT wöchentlich 250 Millionen Nutzern dient, und erklärte, es arbeite mit Partnern zusammen, um die Genauigkeit der Zitate zu verbessern.
Das Fazit der Studie ist eindeutig: Verlage können derzeit nicht garantieren, dass ChatGPT Search ihre Inhalte korrekt darstellt, unabhängig davon, ob sie mit OpenAI zusammenarbeiten oder nicht. Diese Erkenntnis wird sicherlich die Diskussion und Verbesserung der Zuverlässigkeit von Informationen aus künstlicher Intelligenz vorantreiben.