SWE-Lancer est un benchmark lancé par OpenAI, conçu pour évaluer les performances des modèles linguistiques de pointe sur des tâches d'ingénierie logicielle open source réelles. Ce benchmark couvre un large éventail de tâches d'ingénierie indépendantes, allant de la correction de bogues à 50$ à la mise en œuvre de fonctionnalités à 32 000$, ainsi que des tâches de gestion telles que la sélection de solutions techniques. En associant les performances du modèle à une valeur monétaire, SWE-Lancer offre une nouvelle perspective sur l'impact économique du développement de modèles d'IA et stimule la recherche dans ce domaine.