注目を集めるNeurIPS人工知能学会において、マサチューセッツ工科大学メディアラボのロザリンド・ピカード教授の講演が、人種差別的な発言を巡り、業界内で強い反響を呼んだ。重要な事項を最適化する方法をテーマにした講演の中で、ピカード教授はトップ大学から除籍された中国人学生に言及し、同学生が学校で倫理や道徳を教えられなかったと主張したと述べた。その後、彼女は知り合いの中国人のほとんどが誠実で道徳的に高潔であると付け加えたものの、この発言は業界で広く議論を巻き起こした。

言語モデルは、教育から法律相談、さらには医療リスクの予測に至るまで、多くの分野で広く利用されています。しかし、これらのモデルが意思決定プロセスにおける重要性を増すにつれて、無意識のうちに人間のトレーニングデータに含まれるバイアスを反映し、少数派への差別を悪化させる可能性があります。研究によると、言語モデルには潜在的な人種差別が存在し、特にアフリカ系アメリカ人英語（AAE）を処理する際に有害な方言差別を示し、アフリカ系アメリカ人に対する既知のステレオタイプよりも否定的な結果となっています。AAEと標準アメリカ英語を比較する「マッチング・マスキング」手法を用いて分析しています。

実験により、OpenAI GPT3.5が履歴書選別において人種差別的な偏りを持っていることが判明しました。テストの結果、GPT3.5は特定の民族の氏名に偏っている傾向があり、採用決定に影響を与える可能性があります。また、異なる職種において、GPTは性別と人種に関する偏りを持っていることも判明しました。OpenAIは、企業が同社の技術を使用する際には、通常、バイアスを軽減するための対策を講じていると回答しています。

不適切な歴史的文脈において多様な画像を生成したとしてGeminiがユーザーから批判されたことを受け、GoogleはAIツールを緊急修正し、人種差別に関する批判を回避しました。Geminiは過去にも多様性に関する問題を起こしていました。

最新の研究で、ChatGPTなどの有名なAIチャットボットが、黒人に関する誤った医療情報を拡散していることが明らかになりました。スタンフォード大学の研究者らがAIチャットボットに質問したところ、腎機能、肺活量、筋肉量に関する誤った回答が返ってきたとのことです。このことは、誤った医療情報が健康格差を悪化させる可能性があるため懸念されています。