OpenAI के शोधकर्ताओं ने हाल ही में एक दिलचस्प घटना का पता लगाया: जब उपयोगकर्ता ChatGPT के साथ बातचीत करते हैं, तो उनके द्वारा चुने गए उपयोगकर्ता नाम AI की प्रतिक्रियाओं पर सूक्ष्म प्रभाव डाल सकते हैं। हालांकि, यह प्रभाव कुल मिलाकर बहुत छोटा है, मुख्य रूप से पुराने या अनुकूलित नहीं किए गए मॉडल संस्करणों तक सीमित है।
यह अध्ययन इस बात की गहराई से जांच करता है कि ChatGPT विभिन्न सांस्कृतिक पृष्ठभूमियों, लिंग और जातीयता से संबंधित उपयोगकर्ता नामों का सामना करते समय समान प्रश्नों पर कैसे प्रतिक्रिया करता है। उपयोगकर्ता नाम को एक प्रवेश बिंदु के रूप में चुनने का कारण यह है कि नाम अक्सर विशिष्ट सांस्कृतिक, लिंग और जातीय अर्थ रखते हैं, जो इसे पूर्वाग्रह के अध्ययन के लिए एक महत्वपूर्ण कारक बनाता है। विशेष रूप से, जब उपयोगकर्ता ChatGPT का उपयोग करके कार्य पूरा करते हैं, तो वे अक्सर अपना नाम प्रदान करते हैं।
शोध के परिणामों से पता चलता है कि जबकि ChatGPT की समग्र उत्तर गुणवत्ता विभिन्न जनसांख्यिकीय समूहों में स्थिर रहती है, कुछ विशिष्ट कार्यों में वास्तव में कुछ पूर्वाग्रह मौजूद हैं। विशेष रूप से रचनात्मक लेखन के संदर्भ में, उपयोगकर्ता नाम से संकेतित लिंग या जातीय पृष्ठभूमि के आधार पर, कभी-कभी रूढ़िवादी सामग्री उत्पन्न होती है।
लिंग भिन्नताओं के मामले में, शोध ने पाया कि जब ChatGPT को महिला नामों का सामना करना पड़ता है, तो यह अधिकतर महिला पात्रों और भावनात्मक रूप से समृद्ध कहानियाँ बनाने की प्रवृत्ति रखता है। जबकि पुरुष नामों के कारण कहानियों का स्वर थोड़ा अंधेरा हो जाता है। OpenAI ने उदाहरण दिया कि जब उपयोगकर्ता का नाम Ashley होता है, तो ChatGPT "ECE" को "Early Childhood Education" (शैशव शिक्षा) के रूप में व्याख्यायित करता है, जबकि Anthony के लिए इसे "Electrical & Computer Engineering" (इलेक्ट्रिकल और कंप्यूटर इंजीनियरिंग) के रूप में व्याख्यायित करता है।
हालांकि, OpenAI ने जोर देकर कहा कि उनके परीक्षणों में इस तरह की स्पष्ट रूढ़िवादी प्रतिक्रियाएँ सामान्यतः सामान्य नहीं हैं। सबसे स्पष्ट पूर्वाग्रह मुख्य रूप से ओपन-एंडेड रचनात्मक कार्यों में प्रकट होते हैं, और पुराने संस्करणों के ChatGPT में अधिक स्पष्ट होते हैं। शोध ने विभिन्न AI मॉडल और कार्यों में लिंग पूर्वाग्रह के विकास को चार्ट के माध्यम से प्रदर्शित किया। GPT-3.5Turbo मॉडल ने कहानी कहने के कार्य में 2% का उच्चतम पूर्वाग्रह दिखाया। नए मॉडल में आमतौर पर पूर्वाग्रह स्कोर कम होते हैं, लेकिन ChatGPT की नई मेमोरी फ़ीचर ने लिंग पूर्वाग्रह को बढ़ाने की प्रवृत्ति दिखाई है।
जातीय पृष्ठभूमि के संदर्भ में, शोध ने एशियाई, काले, लैटिन अमेरिकी और श्वेत नामों की प्रतिक्रियाओं की तुलना की। लिंग पूर्वाग्रह के समान, रचनात्मक कार्यों में सबसे अधिक पूर्वाग्रह प्रकट होता है। लेकिन कुल मिलाकर, जातीय पूर्वाग्रह लिंग पूर्वाग्रह की तुलना में कम होता है, केवल 0.1% से 1% की प्रतिक्रियाओं में प्रकट होता है। यात्रा से संबंधित प्रश्नों ने सबसे मजबूत जातीय पूर्वाग्रह उत्पन्न किया।
OpenAI ने रिपोर्ट किया कि पुनर्बलन शिक्षण (RL) जैसी तकनीकों के माध्यम से, नए संस्करण के ChatGPT में पूर्वाग्रह को महत्वपूर्ण रूप से कम किया गया है। हालाँकि इसे पूरी तरह से समाप्त नहीं किया गया है, लेकिन कंपनी के माप से पता चलता है कि समायोजित मॉडल में पूर्वाग्रह नगण्य है, अधिकतम केवल 0.2%।
उदाहरण के लिए, नए o1-mini मॉडल ने "44:4" के भाग देने की समस्या को सही ढंग से हल किया, चाहे वह Melissa हो या Anthony, इससे संबंधित या पूर्वाग्रहित जानकारी नहीं दी गई। जबकि RL ट्यूनिंग से पहले, ChatGPT ने उपयोगकर्ता Melissa के लिए बाइबिल और शिशु से संबंधित उत्तर दिए, और उपयोगकर्ता Anthony के लिए क्रोमोसोम और आनुवंशिक एल्गोरिदम से संबंधित उत्तर दिए।
