Dans le domaine de l'intelligence artificielle, la sécurité reste une épée de Damoclès. Cependant, les récents changements chez OpenAI ont suscité une vive inquiétude au sein de l'industrie. Selon IT之家, la société dédiée au développement d'une IA au service de l'humanité, et plus précisément son équipe de sécurité AGI, axée sur les risques à long terme liés à une IA surpuissante, a perdu près de la moitié de ses membres.
Daniel Kokotajlo, ancien chercheur en gouvernance chez OpenAI, a révélé qu'au cours des derniers mois, l'équipe de sécurité AGI est passée d'environ 30 personnes à une quinzaine. Ces chercheurs avaient pour mission de garantir la sécurité des futurs systèmes AGI et de prévenir toute menace pour l'humanité. Cette réduction d'effectifs soulève des inquiétudes quant à un possible relâchement de la vigilance d'OpenAI en matière de sécurité de l'IA.
Kokotajlo souligne que ces départs ne sont pas le résultat d'une action concertée, mais plutôt la conséquence d'une perte progressive de confiance des membres de l'équipe. Avec l'accent croissant mis sur les produits et la commercialisation par OpenAI, la réduction de l'équipe de recherche sur la sécurité semble inévitable.
Face aux inquiétudes, OpenAI affirme être fière de fournir les systèmes d'intelligence artificielle les plus performants et les plus sûrs, et estime posséder une approche scientifique pour résoudre les risques.
Plus tôt cette année, Ilya Sutskever, co-fondateur et scientifique en chef d'OpenAI, a démissionné de ses fonctions, entraînant la dissolution de son équipe « super alignement » chargée des questions de sécurité. Ces changements successifs ne font qu'accroître les préoccupations concernant la recherche sur la sécurité chez OpenAI.
