SWE-Lancer, desarrollado por OpenAI, es un conjunto de pruebas de referencia diseñado para evaluar el rendimiento de los modelos de lenguaje de vanguardia en tareas de ingeniería de software de código abierto del mundo real. Este conjunto de pruebas abarca una variedad de tareas de ingeniería independientes, desde la corrección de errores de 50 dólares hasta la implementación de funciones de 32.000 dólares, así como tareas de gestión, como la selección de soluciones de implementación técnica por parte del modelo. Al mapear el rendimiento del modelo al valor monetario, SWE-Lancer ofrece una nueva perspectiva para la investigación del impacto económico del desarrollo de modelos de IA y promueve el avance de la investigación relacionada.