Recentemente, a equipe de pesquisa da OpenAI descobriu que o nome de usuário escolhido pelos usuários pode, em certa medida, influenciar as respostas da IA do ChatGPT. Embora esse impacto seja mínimo e se manifeste principalmente em modelos mais antigos, os resultados da pesquisa são interessantes. Os usuários geralmente fornecem seus próprios nomes ao ChatGPT para tarefas, portanto, a cultura, o gênero e a origem étnica contidos nos nomes se tornam um fator importante na pesquisa de vieses.
Neste estudo, os pesquisadores exploraram como o ChatGPT reage de forma diferente a perguntas idênticas com base em diferentes nomes de usuário. A pesquisa descobriu que, embora a qualidade geral das respostas permaneça consistente entre os diferentes grupos, o viés ainda é perceptível em algumas tarefas específicas. Em particular, em tarefas de escrita criativa, o ChatGPT às vezes gera conteúdo com estereótipos com base no gênero ou na origem étnica do nome do usuário.
Por exemplo, quando os usuários usam nomes femininos, o ChatGPT tende a criar histórias com protagonistas femininas e com conteúdo emocional mais rico; enquanto os usuários com nomes masculinos recebem enredos um pouco mais sombrios. Há um exemplo específico em que, quando o nome de usuário é Ashley, o ChatGPT interpreta "ECE" como "Educação Infantil Precoce"; enquanto para um usuário chamado Anthony, o ChatGPT o interpreta como "Engenharia Elétrica e de Computação".
Embora essas respostas tendenciosas sejam relativamente raras nos testes da OpenAI, o viés é mais evidente em versões mais antigas. Os dados mostram que o modelo GPT-3.5 Turbo apresenta a maior taxa de viés em tarefas de storytelling, atingindo 2%. Os modelos mais recentes apresentam pontuações de viés mais baixas. No entanto, a OpenAI também observou que o novo recurso de memória do ChatGPT pode aumentar o viés de gênero.
Além disso, a pesquisa também se concentrou em vieses relacionados a diferentes origens étnicas. Comparando nomes geralmente associados a asiáticos, negros, latinos e brancos, a pesquisa descobriu que existe viés racial em tarefas criativas, mas o grau geral de viés é menor do que o viés de gênero, geralmente entre 0,1% e 1%. Consultas relacionadas a viagens apresentam um viés racial mais forte.
A OpenAI afirma que, por meio de técnicas como aprendizado por reforço, o ChatGPT de nova geração reduziu significativamente o viés. Nesses novos modelos, a taxa de ocorrência de viés é de apenas 0,2%. Por exemplo, o modelo o1-mini mais recente, ao responder à questão de divisão "44:4", consegue fornecer informações imparciais para Melissa e Anthony. Antes do ajuste fino de aprendizado por reforço, a resposta do ChatGPT para Melissa envolvia a Bíblia e bebês, enquanto a resposta para Anthony envolvia cromossomos e algoritmos genéticos.
Destaques:
🌟 O nome de usuário escolhido pelo usuário tem um leve impacto nas respostas do ChatGPT, principalmente em tarefas de escrita criativa.
📚 Nomes femininos geralmente levam o ChatGPT a criar histórias mais emocionais, enquanto nomes masculinos tendem a um estilo narrativo mais sombrio.
🔍 A nova versão do ChatGPT, por meio do aprendizado por reforço, reduziu significativamente a taxa de ocorrência de vieses, que caiu para 0,2%.
