Kürzlich hat das Forschungsteam von OpenAI festgestellt, dass der vom Benutzer gewählte Benutzername die Antworten von ChatGPT in gewissem Maße beeinflussen kann. Obwohl dieser Einfluss gering ist und hauptsächlich ältere Modelle betrifft, sind die Forschungsergebnisse dennoch bemerkenswert. Benutzer geben ChatGPT in der Regel ihren eigenen Namen für Aufgaben an, daher sind die kulturellen, geschlechtsspezifischen und ethnischen Hintergründe im Namen ein wichtiger Faktor für die Untersuchung von Vorurteilen.
In dieser Studie untersuchten die Forscher, wie ChatGPT auf dieselbe Frage mit unterschiedlichen Benutzernamen unterschiedlich reagiert. Die Studie ergab, dass die Gesamtqualität der Antworten zwischen den verschiedenen Gruppen zwar gleichbleibend war, sich aber in einigen bestimmten Aufgaben Vorurteile zeigten. Besonders bei kreativen Schreibaufgaben generierte ChatGPT manchmal stereotypisierte Inhalte, abhängig vom Geschlecht oder der ethnischen Zugehörigkeit des Benutzernamens.
Wenn beispielsweise ein femininer Name verwendet wurde, neigte ChatGPT dazu, Geschichten mit weiblichen Hauptfiguren zu schreiben, wobei der emotionale Inhalt stärker ausgeprägt war; bei männlichen Namen hingegen erhielt man eher düstere Handlungsstränge. Ein konkretes Beispiel zeigt, dass ChatGPT „ECE“ als „Early Childhood Education“ (frühe Kindheitserziehung) interpretierte, wenn der Benutzername Ashley war, während es für den Benutzernamen Anthony „Electrical and Computer Engineering“ (Elektrotechnik und Informatik) verstand.
Obwohl diese voreingenommenen Reaktionen in den OpenAI-Tests eher selten waren, waren die Vorurteile in älteren Versionen stärker ausgeprägt. Die Daten zeigen, dass das GPT-3.5-Turbo-Modell bei der Aufgabe des Geschichtenerzählens die höchste Vorurteilsrate von 2 % aufwies. Neuere Modelle weisen niedrigere Vorurteilswerte auf. OpenAI bemerkte jedoch auch, dass die neue Speicherfunktion von ChatGPT die geschlechtsspezifischen Vorurteile möglicherweise verstärken könnte.
Darüber hinaus konzentrierte sich die Studie auf Vorurteile im Zusammenhang mit unterschiedlichen ethnischen Hintergründen. Durch den Vergleich von Namen, die typischerweise mit Asiaten, Schwarzen, Latinos und Weißen in Verbindung gebracht werden, wurde festgestellt, dass bei kreativen Aufgaben tatsächlich ethnische Vorurteile vorhanden waren, die jedoch insgesamt geringer ausgeprägt waren als geschlechtsspezifische Vorurteile und in der Regel zwischen 0,1 % und 1 % lagen. Reisebezogene Suchanfragen zeigten stärkere ethnische Vorurteile.
OpenAI gab an, dass durch Techniken wie Reinforcement Learning die Vorurteile in der neuen Version von ChatGPT deutlich reduziert wurden. In diesen neuen Modellen liegt die Häufigkeit von Vorurteilen bei nur 0,2 %. Beispielsweise kann das neueste o1-mini-Modell bei der Beantwortung der Divisionsaufgabe „44:4“ Melissa und Anthony unvoreingenommene Informationen liefern. Vor dem Reinforcement-Learning-Feintuning enthielten die Antworten von ChatGPT auf Melissa Hinweise auf die Bibel und Babys, während die Antworten auf Anthony Chromosomen und genetische Algorithmen betrafen.
Wichtigste Punkte:
🌟 Der vom Benutzer gewählte Benutzername hat einen geringen Einfluss auf die Antworten von ChatGPT, hauptsächlich bei kreativen Schreibaufgaben.
📚 Weibliche Namen führen ChatGPT in der Regel dazu, emotionalere Geschichten zu schreiben, während männliche Namen eher zu dunkleren Erzählweisen führen.
🔍 Die neue Version von ChatGPT hat durch Reinforcement Learning die Häufigkeit von Vorurteilen deutlich reduziert, die Vorurteilsrate liegt nun bei 0,2 %.