OpenAIは、AIによるソフトウェアエンジニアリングタスクのパフォーマンスをより正確に評価することを目的としたSWE-bench Verifiedを発表しました。これは、元のSWE-benchにおける、厳しすぎる単体テスト、不明確な問題記述、設定が難しい開発環境といった評価上の限界に対処するためのものです。新しいベンチマークでは、Dockerコンテナ環境を導入することで、評価の一貫性と信頼性を向上させ、AIモデルの性能評価を大幅に向上させています。GPT-4oは新しいベンチマークで33.2％のサンプルを解決しましたが、最良のオープンソースエージェントフレームワークA…

AIスタートアップCognitionが、AIプログラマー「Genie」を発表。権威あるテストプラットフォームSWE-Benchで30.08％というスコアを達成し、DevinやGPT-4を大きく上回り、世界最強のAIプログラミングアシスタントとなりました。Genieの共同設立者Alistair Pullenは2022年にこのプロジェクトを発表し、人間のように自動でコーディング、デバッグ、最適化を行うAIの創造を目指しました。1年以上の開発を経て、Genieは人間のプログラマーの推論プロセスを含む特別なデータを使用してトレーニングされています。