Le nouveau modèle d'IA d'OpenAI pour la génération d'images, DALL-E 3, est en cours de déploiement dans ChatGPT et Bing Image Creator. OpenAI documente ses efforts pour empêcher les utilisateurs de générer des images potentiellement dangereuses ou offensantes.
Des documents montrent que l'intégration de DALL-E 3 dans ChatGPT est à la fois une mesure de sécurité et une mesure de commodité. ChatGPT peut utiliser ce qu'on appelle la "conversion d'invite" pour vérifier si une invite utilisateur pourrait enfreindre les règles de contenu, puis la réécrire pour contourner les violations si celles-ci semblent non intentionnelles.
Pour définir les limites et effectuer des tests, OpenAI s'appuie également sur des exercices de "red teaming", où des personnes désignées tentent de faire générer des images inappropriées à DALL-E 3 via des invites ciblées. Pour les contenus sexistes ou autres contenus "inquiétants", OpenAI a entraîné un classificateur de sortie d'image pour détecter les motifs suspects et arrêter la génération.
La version publique de DALL-E 3 a réduit le risque de génération de telles images indésirables à 0,7 %.
Concernant les problèmes de droits d'auteur, OpenAI reconnaît que, malgré toutes les mesures de réduction des risques, certains objets courants peuvent être fortement associés à des marques ou des contenus protégés par des marques de commerce et peuvent donc être générés dans le cadre du rendu de scènes réalistes, en raison de l'impossibilité de prévoir toutes les combinaisons possibles.