No campo da engenharia de software, os métodos tradicionais de benchmark estão ficando aquém dos desafios em evolução. Os trabalhos de engenharia de software freelance são complexos e variados, indo muito além de tarefas de codificação isoladas. Os engenheiros freelance precisam lidar com bases de código inteiras, integrar vários sistemas e atender às complexas necessidades dos clientes. Os métodos de avaliação tradicionais geralmente se concentram em testes unitários e não conseguem refletir totalmente o desempenho de pilha completa e o impacto econômico real das soluções. Portanto, desenvolver métodos de avaliação mais realistas é crucial. Para isso, a OpenAI lançou o SWE-Lan