最近、あるネットユーザーがX（旧Twitter）で、ChatGPTの最新版GPT-4oがバラの絵を生成しようとしたところ、「当社のコンテンツポリシーに準拠していないため、このバラの絵を生成できません」とあっさり拒否したことを発見しました。この予想外の拒否は、多くのネットユーザーの注目と議論をすぐに呼び、その理由を探ったり、制限を回避する方法を見つけようとしたりする人が続出しました。
この現象を確認するため、ネットユーザーたちは様々な実験を行いました。中国語や英語で質問したり、「バラ」の代わりに特殊記号を使ってみたりしましたが、結果は全て失敗に終わりました。黄色のバラを生成しようと試みても、同じように拒否されました。一方、牡丹などの他の花を生成しようとすると、GPT-4oは難なくこなすことができ、画像生成能力に問題がないことが示されました。
議論が進むにつれ、ネットユーザーたちは様々な憶測を立てました。「バラ」という言葉が何らかの理由でブラックリストに登録されているという意見や、ChatGPTが「バラ」を何らかの隠喩と解釈して生成できないという意見もありました。さらに面白いのは、「バレンタインデーに似たようなリクエストが多すぎて、システムが『バラ』を制限したのではないか」と冗談めかして言うユーザーもいました。
その後のテストで、ネットユーザーたちは「バラ」を複数形にしたり、「バラ」という言葉を使わずに特徴を説明したりすれば、GPT-4oがスムーズにバラの絵を生成できることを発見しました。この発見は、AIのコンテンツフィルタリングメカニズムに対する深い議論を促し、開発者がコンテンツポリシーにハードコーディングを行ったために、このような奇妙な誤判が発生した可能性があると指摘されています。
同時に、ChatGPTのこの禁句は、以前にも同様の事例があったことを思い出させました。特定の名前を尋ねると、システムが曖昧な回答を返したり、特定のコンテンツを回避したりする様子が見られました。「バラの絵を生成する」ことが新たな禁句になったわけですが、GeminiやGrokなどの他のAIチャットボットは、バラの絵を問題なく生成することができ、プラットフォームによってコンテンツ制限に違いがあることが示されています。
この事件の発酵に伴い、AIのコンテンツ審査の妥当性と透明性に対する疑問がさらに深まり、将来のAIが合理的な範囲内でユーザーの多様なニーズに応えてくれることを期待する声が上がっています。
