Recientemente, Anna Makanju, vicepresidenta de Asuntos Globales de OpenAI, compartió su perspectiva sobre el sesgo en la inteligencia artificial durante la Cumbre del Futuro de las Naciones Unidas.
Mencionó que modelos de "razonamiento" como el o1 de OpenAI pueden reducir significativamente el sesgo en los sistemas de IA. ¿Cómo lo logra el o1? Makanju explicó que estos modelos pueden autodetectar sesgos en sus respuestas y seguir mejor las reglas para evitar respuestas "dañinas".
Señaló que el modelo o1 dedica más tiempo a evaluar sus propias respuestas, realizando una auto-verificación: "Puede decir: 'Esta es mi manera de resolver este problema', y luego revisar su respuesta pensando: 'Oh, aquí puede haber un fallo en el razonamiento'". Incluso enfatizó que el o1 lo hace "casi a la perfección" en la detección de sesgos propios, y que su rendimiento mejorará con el avance de la tecnología.
Sin embargo, la afirmación de "casi perfecto" parece exagerada. Las pruebas internas de OpenAI revelaron que, en comparación con los modelos "no de razonamiento", incluido su propio GPT-4o, el o1 no obtuvo resultados ideales en algunas pruebas de sesgo. En cuestiones de raza, género y edad, el o1, en ciertas situaciones, incluso resultó peor que GPT-4o. Aunque el o1 mostró un mejor rendimiento en la discriminación implícita, en la discriminación explícita fue más pronunciado en temas de edad y raza.
Más interesante aún, la versión económica del o1, el o1-mini, tuvo un rendimiento aún peor. Las pruebas mostraron que el o1-mini tenía una mayor probabilidad de discriminación explícita por género, raza y edad que GPT-4o, y también una discriminación implícita más evidente en cuestiones de edad.
Además, los modelos de razonamiento actuales tienen muchas limitaciones. OpenAI también admite que las ventajas del o1 son mínimas en algunas tareas. Su velocidad de respuesta es más lenta, necesitando más de 10 segundos para responder a algunas preguntas. Además, el costo del o1 no es insignificante, siendo de 3 a 4 veces superior al de GPT-4o.
Si los modelos de razonamiento que menciona Makanju son realmente la mejor manera de lograr una IA justa, necesitan mejorar en otros aspectos además del sesgo para convertirse en una alternativa viable. De lo contrario, solo los clientes con grandes recursos económicos y dispuestos a aceptar retrasos y problemas de rendimiento podrán beneficiarse realmente.
Puntos clave:
🌟 El modelo o1 de OpenAI se presenta como capaz de reducir significativamente el sesgo de la IA, pero los resultados de las pruebas muestran que su rendimiento no es el esperado.
💡 El o1 supera a GPT-4o en discriminación implícita, pero es peor en discriminación explícita.
💰 El modelo de razonamiento o1 es costoso, lento y necesita mejoras en varios aspectos.
