Eine kürzlich in der Zeitschrift „Nature“ veröffentlichte Studie enthüllt ein besorgniserregendes Phänomen in der Entwicklung künstlicher Intelligenz: Mit der Weiterentwicklung großer Sprachmodelle (LLMs) neigen diese immer mehr dazu, selbst bei falschen Antworten „selbstbewusst“ zu antworten. Dieses Phänomen hat eine breite Diskussion über die Zuverlässigkeit und die Risiken des Einsatzes von KI ausgelöst.
Das Forschungsteam unter der Leitung von José Hernández-Orallo vom Valencian Institute of Artificial Intelligence in Spanien und seinen Kollegen analysierte eingehend die Entwicklungstrends falscher Antworten von KI-Modellen im Laufe ihrer Evolution, die Beziehung dieser Fehler zur Wahrnehmung der Schwierigkeit von Fragen durch Menschen und die Fähigkeit der Menschen, falsche Antworten zu erkennen.
Die Ergebnisse zeigen, dass sich die Gesamtleistung der KI mit der Weiterentwicklung der Modelle, insbesondere durch Feinabstimmung mit Methoden wie dem Lernen durch menschliches Feedback, tatsächlich verbessert hat. Eine unerwartete Erkenntnis war jedoch, dass mit der Zunahme korrekter Antworten auch die Anzahl falscher Antworten parallel zunahm. Hernández-Orallo beschreibt es bildhaft so: „Sie beantworten fast alle Fragen, was bedeutet, dass eine höhere Genauigkeit auch mit mehr falschen Antworten einhergeht.“
Bildquelle: Das Bild wurde mit KI generiert, Bildrechte: Midjourney
Das Forschungsteam konzentrierte sich hauptsächlich auf gängige KI-Modelle wie GPT von OpenAI, LMA von Meta und das Open-Source-Modell BLOOM. Durch den Vergleich früherer und später verfeinerter Versionen dieser Modelle analysierten sie deren Leistung bei verschiedenen Fragen. Die Ergebnisse zeigen, dass sich die Leistung der Modelle bei einfachen Fragen zwar verbessert hat, sie jedoch bei schwierigen Fragen keine erkennbare Tendenz zur Vermeidung zeigten. GPT-4 beispielsweise beantwortet fast alle Fragen, wobei die Anzahl falscher Antworten in vielen Fällen zunimmt und manchmal sogar 60 % übersteigt.
Besorgniserregender ist die Erkenntnis, dass diese Modelle manchmal sogar einfache Fragen falsch beantworten, was es für Benutzer schwierig macht, eine „Sicherheitszone“ zu finden, in der sie den Antworten der KI in hohem Maße vertrauen können. Als das Forschungsteam Freiwillige bat, die Richtigkeit dieser Antworten zu beurteilen, waren die Ergebnisse noch beunruhigender: Die Teilnehmer klassifizierten falsche Antworten mit einer Fehlerrate von 10 % bis 40 % falsch, sowohl bei einfachen als auch bei komplexen Fragen. Hernández-Orallo fasst zusammen: „Menschen können diese Modelle nicht effektiv überwachen.“
Um dieser Herausforderung zu begegnen, empfiehlt Hernández-Orallo KI-Entwicklern, die Leistung der Modelle bei einfachen Fragen zu verbessern und Chatbots zu ermutigen, bei schwierigen Fragen Unsicherheit auszudrücken oder die Beantwortung zu verweigern. Er betont: „Wir müssen den Nutzern klarmachen: Ich kann es in diesem Bereich verwenden, aber in jenem nicht.“
Obwohl es beeindruckend erscheint, wenn eine KI verschiedene komplexe Fragen beantworten kann, weist Hernández-Orallo darauf hin, dass dies nicht immer von Vorteil ist. Er zeigt sich sogar verwirrt über die Fehler einiger Modelle bei einfachen Rechenaufgaben und hält dies für ein lösbares Problem.
Die Informatikerin Vipula Rawte von der University of South Carolina weist darauf hin, dass einige Modelle tatsächlich „Ich weiß es nicht“ oder „Ich habe nicht genügend Informationen“ angeben. Insbesondere für spezifische Zwecke (z. B. im Gesundheitswesen) entwickelte KI-Systeme werden oft strenger abgestimmt, um zu verhindern, dass sie über ihren Wissensbereich hinausgehen. Für Unternehmen, die sich der Entwicklung universeller Chatbots widmen, ist das Eingeständnis von Unwissenheit jedoch nicht immer eine ideale Funktion.
Diese Studie enthüllt ein wichtiges Paradoxon in der KI-Entwicklung: Mit zunehmender Komplexität und Leistungsfähigkeit der Modelle können sie in einigen Bereichen unzuverlässiger werden. Diese Erkenntnis stellt KI-Entwickler, -Anwender und -Aufsichtsbehörden vor neue Herausforderungen.
Zukünftig muss bei der KI-Entwicklung ein Gleichgewicht zwischen Leistungssteigerung und Vorsicht gefunden werden. Entwickler müssen möglicherweise überdenken, wie die Leistung von KI-Modellen bewertet wird, und nicht nur die Anzahl der richtigen Antworten, sondern auch den Anteil und die Auswirkungen falscher Antworten berücksichtigen. Gleichzeitig wird es immer wichtiger, das Bewusstsein der Benutzer für die Grenzen der KI zu schärfen.
Für normale Benutzer ist diese Studie eine Mahnung, bei der Verwendung von KI-Tools wachsam zu sein. Obwohl KI Komfort und Effizienz bietet, müssen wir weiterhin kritisch denken, insbesondere bei der Verarbeitung wichtiger oder sensibler Informationen.