在近期的一项研究中，OpenAI研究团队推出了名为 MLE-bench 的全新基准测试，旨在评估AI智能体在机器学习工程方面的表现。
这项研究特别关注75个来自 Kaggle 的机器学习工程相关竞赛，旨在测试代理在现实世界中所需的多种技能，包括模型训练、数据集准备和实验运行等。
为了更好地进行评估，研究团队使用了 Kaggle 公开排行榜的基础数据，确立了每个竞赛的人类基准。在实验中，他们利用开源的智能体架构，对几种前沿语言模型进行了测试。结果显示，最佳表现的配置 ——OpenAI 的 o1-preview 与 AIDE 架构结合使用 —— 在16.9% 的竞赛中，达到了 Kaggle 铜牌的水平。
不仅如此，研究团队还对 AI 智能体的资源扩展形式进行了深入探讨，并研究了预训练对结果的污染影响。他们强调，这些研究结果为今后进一步理解 AI 智能体在机器学习工程方面的能力提供了基础。为了促进未来的研究，团队还将基准测试的代码进行了开源，供其他研究人员使用。
这项研究的推出，标志着机器学习领域的一次重要进展，特别是在如何评估和提升 AI 智能体的工程能力方面。科学家们希望，通过 MLE-bench，可以为 AI 技术的发展提供更科学的评估标准和实践依据。
项目入口:https://openai.com/index/mle-bench/
划重点:
🌟 MLE-bench 是一个新的基准测试，旨在评估 AI 代理的机器学习工程能力。
🤖 研究涵盖75个 Kaggle 竞赛，测试智能体的模型训练和数据处理能力。
📊 OpenAI 的 o1-preview 与 AIDE 架构组合在16.9% 的竞赛中达到了 Kaggle 铜牌水平。