SWE-Lancerは、OpenAIが開発したベンチマークであり、最先端の言語モデルが現実世界のオープンソースソフトウェアエンジニアリングタスクにおいてどのようなパフォーマンスを発揮するかを評価することを目的としています。50ドルのバグ修正から32,000ドルの機能実装まで、様々な独立したエンジニアリングタスクや、技術的な実装方法を選択するなどのマネジメントタスクが含まれています。モデルのパフォーマンスを貨幣価値にマッピングすることで、SWE-LancerはAIモデル開発の経済的影響に関する新たな視点を与え、関連研究の発展を促進します。