भाषा मॉडल विभिन्न क्षेत्रों में व्यापक अनुप्रयोग दिखाते हैं, शिक्षा से लेकर कानूनी परामर्श, यहां तक कि चिकित्सा जोखिम की भविष्यवाणी भी। हालाँकि, जब ये मॉडल निर्णय प्रक्रिया में अधिक महत्वपूर्ण हो जाते हैं, तो वे अनजाने में मानव प्रशिक्षण डेटा में विद्यमान पूर्वाग्रह को दर्शा सकते हैं, और अल्पसंख्यक समूहों के प्रति भेदभाव को बढ़ा सकते हैं। अनुसंधान से पता चला है कि भाषा मॉडल में अप्रत्यक्ष जातिवाद है, विशेष रूप से अफ्रीकी अमेरिकी अंग्रेजी (AAE) को संभालते समय, जो हानिकारक बोली भेदभाव का प्रदर्शन करता है, जो अफ्रीकी अमेरिकियों के किसी भी ज्ञात पूर्वाग्रह से कहीं अधिक नकारात्मक है। AAE और मानक अमेरिकी अंग्रेजी की तुलना करने के लिए "मिलान छलावरण" पद्धति का उपयोग किया गया।

हालिया अध्ययन में पाया गया: प्रसिद्ध एआई चैटबॉट, जैसे कि ChatGPT, काले लोगों के बारे में गलत चिकित्सा धारणाएँ फैला रहे हैं। स्टैनफोर्ड विश्वविद्यालय के शोधकर्ताओं ने एआई चैटबॉट से प्रश्न पूछकर पाया कि उसके उत्तरों में गलत राय शामिल थी, जो किडनी के कार्य, फेफड़ों की क्षमता और मांसपेशी गुणवत्ता से संबंधित थीं। यह चिंता को जन्म देता है, क्योंकि गलत चिकित्सा जानकारी स्वास्थ्य असमानताओं को बढ़ा सकती है।