MLE-bench

MLE-bench 是 OpenAI 推出的一个基准，用来衡量 AI 代理在机器学习工程任务上的表现。它从 Kaggle 挑选了 75 个与机器学习工程相关的竞赛，组成一组多样且有难度的任务，考察训练模型、准备数据集、运行实验等真实工程技能。

每个竞赛的人类基线来自 Kaggle 公开排行榜。OpenAI 用开源代理脚手架在基准上评测了多个前沿语言模型，其中表现最好的是 o1-preview 搭配 AIDE 脚手架，在 16.9% 的竞赛中达到至少 Kaggle 铜牌水平。研究还考察了面向 AI 代理的多种资源扩展方式，以及预训练数据污染带来的影响。

基准代码已开源，供后续研究使用。研究人员可以用它复现评测、比较不同代理脚手架与语言模型的组合；关注机器学习工程自动化的开发者，可以据此了解当前代理在真实竞赛任务上的能力边界。

当你要评估 AI 代理能否胜任真实机器学习工程任务时，MLE-bench 值得一看：它用 75 个 Kaggle 竞赛和人类基线给出可对照的分数，最好配置在 16.9% 的竞赛中达到至少 Kaggle 铜牌水平。如果你是研究者或团队要选代理脚手架与模型，它能提供统一的比较口径；但若你需要的是开箱即用的建模工具，它本身不代跑竞赛，也不提供产品化界面。