SWE-Lancer ist ein von OpenAI entwickelter Benchmark, der die Leistung von hochmodernen Sprachmodellen bei realen Freie-Software-Engineering-Aufgaben bewertet. Der Benchmark umfasst eine Vielzahl unabhängiger Engineering-Aufgaben, von der Behebung von Fehlern für 50 US-Dollar bis zur Implementierung von Funktionen für 32.000 US-Dollar, sowie Management-Aufgaben wie die Auswahl zwischen technischen Implementierungslösungen. Durch die Abbildung der Leistung des Modells auf den Geldwert bietet SWE-Lancer eine neue Perspektive auf die Erforschung der wirtschaftlichen Auswirkungen der Entwicklung von KI-Modellen und fördert die Weiterentwicklung der Forschung.