Forscher der Cornell University und anderer Institutionen haben kürzlich mehrere generative KI-Modelle, darunter GPT-4o, Claude und Gemini, einem Halluzinationstest unterzogen. Die Studie ergab, dass selbst die fortschrittlichsten Modelle nur in etwa 35 % der Fälle halluzinationsfreien Text generieren, was darauf hinweist, dass die Zuverlässigkeit von KI noch verbessert werden muss.
Die Forscher entwickelten einen Fragenkatalog mit Inhalten, die nicht in Wikipedia enthalten sind, und überprüften die Antworten anhand von autoritativen Quellen zu Themen wie Recht, Gesundheit und Geschichte. Die Ergebnisse zeigten, dass die Modelle von OpenAI insgesamt die beste Leistung erzielten, der Fortschritt im Vergleich zu der älteren Version GPT-3.5 jedoch begrenzt war. Interessanterweise hängt die Häufigkeit von Halluzinationen nicht von der Modellgröße ab: Kleinere Modelle wie Claude3Haiku schnitten ähnlich gut ab wie größere Modelle.
Bildquelle: Das Bild wurde mit KI generiert, Lizenzgeber: Midjourney
Die Mitverfasserin Zhao Wenting weist darauf hin, dass selbst Modelle mit Online-Suchfunktion Schwierigkeiten haben, „Nicht-Wikipedia“-Fragen zu beantworten, was den tiefgreifenden Einfluss von Wikipedia auf die Modelle verdeutlicht. Sie erwartet, dass das Problem der Halluzinationen „noch lange bestehen bleiben“ wird, teilweise weil die Trainingsdaten selbst fehlerhafte Informationen enthalten können.
Eine vorübergehende Lösung besteht darin, die Häufigkeit, mit der das Modell Fragen unbeantwortet lässt, zu erhöhen. Claude3Haiku erwies sich mit einer Beantwortungsrate von nur 72 % als das „ehrlichste“ Modell. Diese Strategie kann jedoch die Benutzerfreundlichkeit beeinträchtigen.
Zhao schlägt vor, dass die vollständige Beseitigung von Halluzinationen unrealistisch sein mag, das Problem aber durch manuelle Faktenprüfung, Angabe von Quellen usw. gemildert werden kann. Sie fordert die Entwicklung entsprechender Richtlinien, um die Beteiligung von menschlichen Experten bei der Überprüfung von KI-generierten Informationen zu gewährleisten.
