最近、OpenAIの研究者は新たに発表した論文の中で、現在のAI技術が相当進んでいるにもかかわらず、これらのモデルが人間のプログラマーと同等には達していないことを認めました。OpenAIのCEO、サム・アルトマンは、今年の年末までにはAIが「初級」ソフトウェアエンジニアに勝ると予想していましたが、研究結果はこれらのAIモデルが依然として重大な課題に直面していることを示しています。画像の出典：写真はAIによって生成され、画像の権利を持つサービスプロバイダーMidjourneyによる研究中に使用されました。

OpenAIは先日、AIのプログラミング能力を評価する重要なレポートを発表しました。100万ドル相当の実開発プロジェクトを通じて、AIがソフトウェア開発分野でどのような現状にあるのかを明らかにしています。SWE-Lancerと呼ばれるこのベンチマークテストは、Upworkから集めた1400件の実プロジェクトを網羅し、AIの直接開発とプロジェクト管理の2つの分野におけるパフォーマンスを包括的に評価しました。テストの結果、最高性能を達成したAIモデルであるClaude3.5Sonnetは、コーディングタスクでの成功率が26.2％、プロジェクト管理決…

ソフトウェアエンジニアリングの分野では、課題が進化するにつれて、従来のベンチマーク手法では不十分になっています。フリーランスのソフトウェアエンジニアリング業務は複雑で多様であり、単なる孤立したコーディングタスクだけではありません。フリーランスのエンジニアは、コードベース全体を処理し、複数のシステムを統合し、複雑な顧客のニーズに応える必要があります。従来の評価方法は通常、単体テストに重点を置いており、フルスタックのパフォーマンスとソリューションの実際の経済的影響を十分に反映することはできません。そのため、より現実的な評価方法の開発が不可欠です。そこでOpenAIは、SWE-Lan…