Na era de rápido desenvolvimento tecnológico de hoje, os modelos de linguagem se tornaram ferramentas indispensáveis em nossas vidas. De ajudar professores a planejar currículos a responder perguntas sobre leis tributárias e até mesmo prever o risco de morte de pacientes antes da alta hospitalar, o escopo de suas aplicações é vasto.
No entanto, à medida que sua importância na tomada de decisões aumenta, também surge a preocupação de que esses modelos possam inadvertidamente refletir os preconceitos ocultos nos dados de treinamento, exacerbando assim a discriminação contra minorias étnicas, gêneros e outros grupos marginalizados.
Embora pesquisas anteriores em IA tenham revelado preconceitos raciais, elas se concentraram principalmente no racismo explícito, ou seja, menções diretas a uma raça e seus estereótipos associados. Com o desenvolvimento da sociedade, sociólogos propuseram uma nova concepção de racismo mais sutil, chamada de "racismo implícito". Esta forma não é caracterizada por preconceito racial direto, mas sim por uma ideologia racial "sem cor", que, embora evite menções explícitas à raça, ainda mantém crenças negativas sobre pessoas de cor.
Este estudo revela pela primeira vez que os modelos de linguagem também transmitem, em certa medida, conceitos de racismo implícito, especialmente ao julgar pessoas que falam o African American Vernacular English (AAE). O AAE é um dialeto intimamente ligado à história e à cultura dos afro-americanos. Ao analisar o desempenho dos modelos de linguagem ao lidar com o AAE, descobrimos que eles demonstram um viés prejudicial contra o dialeto, exibindo atitudes mais negativas do que qualquer estereótipo negativo já registrado sobre afro-americanos.
Em nossa pesquisa, usamos um método chamado "mascaramento correspondente", comparando textos em AAE e em Standard American English (SAE) para investigar as diferenças de julgamento dos modelos de linguagem em relação a falantes de diferentes dialetos. Neste processo, descobrimos que os modelos de linguagem, embora superficialmente exibindo estereótipos mais positivos sobre afro-americanos, em sua camada mais profunda de preconceito implícito, espelham os estereótipos mais negativos do passado.
Por exemplo, quando solicitados a atribuir empregos a pessoas que falam AAE, os modelos tendem a atribuí-los a posições de menor nível, mesmo sem conhecer a raça dessas pessoas. Da mesma forma, em um cenário hipotético, quando solicitados a julgar um assassino que testemunhou usando AAE, eles demonstram uma propensão significativamente maior a condená-lo à pena de morte.
O que é ainda mais preocupante é que algumas práticas atuais destinadas a mitigar o preconceito racial, como o treinamento com feedback humano, na verdade ampliam a disparidade entre preconceitos implícitos e explícitos, tornando o racismo subjacente menos aparente na superfície, mas persistindo em um nível mais profundo.
Essas descobertas destacam a importância da justiça e do uso seguro da tecnologia de linguagem, especialmente considerando seu potencial impacto profundo na vida humana. Embora medidas tenham sido tomadas para eliminar preconceitos explícitos, os modelos de linguagem ainda demonstram racismo implícito contra falantes de AAE por meio de características do dialeto.
Isso não apenas reflete as complexas atitudes raciais na sociedade humana, mas também serve como um alerta para a necessidade de maior cuidado e sensibilidade no desenvolvimento e uso dessas tecnologias.
Referências: https://www.nature.com/articles/s41586-024-07856-5
