真实任务集
收录 Upwork 上超过 1400 个真实自由职业软件工程任务，合计价值 100 万美元，任务与报酬都来自实际项目。
价格官网未标价
平台Web
归类知识管理
收录2025-02-18
复核2025-02-18
编辑评分
4.4 / 5
★★★★☆
SWE-Lancer编辑总结
SWE-Lancer 是 OpenAI 于 2025 年 2 月 18 日发布的基准测试，收录 Upwork 上 1400 多个真实自由软件工程任务，总价值 100 万美元。任务从 50 美元的错误修复到 32000 美元的功能实现，还包含在实现方案间做选择的管理类任务。独立任务用经过资深工程师三重验证的端到端测试评分，管理决策则对照原雇佣工程经理的选择。评测发现，前沿模型仍解不出大多数任务。短板是它面向研究而非日常工具，普通用户无法直接拿它干活。
SWE-Lancer是什么？
SWE-Lancer 是 OpenAI 推出的一个软件工程基准测试，用来回答「前沿大模型能不能靠真实自由职业项目挣到 100 万美元」。它面向的是研究 AI 能力边界与 AI 经济影响的人，而不是想找一款日常编码助手的普通用户。
它取材于 Upwork 上的真实付费任务，共 1400 多个，合计价值 100 万美元；既有从 50 美元错误修复到 32000 美元功能实现的独立工程任务，也有让模型在技术实现方案之间做取舍的管理者任务。独立任务用端到端测试评分，这些测试由经验丰富的软件工程师三重验证；管理决策则对照原雇佣工程经理的真实选择。OpenAI 还开源了统一的 Docker 镜像和公开评测集 SWE-Lancer Diamond。2025 年 7 月 28 日的更新说明，数据集与结果已更新到 2025 年 7 月 17 日，更新后的数据集取消了执行时必须联网的要求，从而消除了模型表现的一个主要波动来源。
对研究者，它是一套可复现的评测口径，把模型能力换算成金额；对开发者，可以借助开源镜像与公开评测集复现实验；对想了解 AI 会不会取代软件开发工作的人，它提供了「模型当前能完成多少、价值多高」的直接参照。
SWE-Lancer核心功能
金额跨度大
任务报酬从 50 美元的错误修复，一直到 32000 美元的功能实现，能看出模型在哪一档任务上先扛得住。
管理类任务
除独立编码任务外，还要求模型在多个技术实现方案之间做选择，对照的是原项目雇佣的工程经理的真实决策。
三重验证评分
独立工程任务由经验丰富的软件工程师三重验证的端到端测试来判定通过与否，减少主观打分带来的偏差。
金额化衡量
把模型表现直接映射成货币价值，便于研究 AI 模型发展对经济的影响，而不只是看正确率。
开源评测集
提供统一的 Docker 镜像与公开评测集 SWE-Lancer Diamond，方便其他团队复现结果并继续做研究。
SWE-Lancer值不值得用？
如果你研究的是模型能力边界或 AI 对软件外包市场的经济影响，SWE-Lancer 的价值在于它用真实 Upwork 任务的报酬来标定能力，总额 100 万美元，任务单价从 50 美元到 32000 美元，而且评分用的是三重验证过的端到端测试，而非人工印象分。当你想比较不同前沿模型在「能不能真的交付一个付费项目」这件事上的差距，它给出的结论足够硬：前沿模型仍解不出大多数任务。但如果你只是想要一个能帮你写代码、改 bug 的工具，它不是产品，没有可登录使用的界面，也没有价格档位，官方也未公开面向个人用户的使用方式。
建议选它的情况
- 研究大模型软件工程能力上限的团队
- 评估 AI 对自由职业与外包市场冲击的分析人员
- 需要可复现、可对照的公开评测集的模型开发者
- 关注模型能力如何换算成经济价值的决策者
不建议选它的情况
- 想找一个日常写代码、改 bug 助手的普通开发者
- 希望开箱即用、有账号体系与订阅价格的个人用户
- 只关心中文场景下代码补全效果的使用者
SWE-Lancer使用建议
入门先把路子走对
- 先读论文在页面上通过 Read paper 进入论文，先看清任务的分类方式与评分口径，再去看分数，否则容易把不同任务的成绩混在一起比较。
- 用公开评测集从 Access repository 进入开源仓库，用 SWE-Lancer Diamond 这个公开评测集起步，它的规模比完整集小，更适合先跑通流程。
- 跑统一镜像直接用官方开源的统一 Docker 镜像搭建环境，可以省去自己拼装依赖的时间，也更容易和其他团队的结果对齐。
进阶省时间也省钱
- 按金额分档看把结果按任务报酬分成 50 美元级、32000 美元级等档次分别看，比只看总通过率更能反映模型能承接什么量级的项目。
- 分开算两类任务独立工程任务与管理类任务的评分方式完全不同，前者靠端到端测试，后者对照工程经理的选择，混在一起算平均会掩盖真实差距。
- 用更新版数据2025 年 7 月 28 日的更新取消了执行时必须联网的要求，消除了模型表现的一个主要波动来源，对比新旧结果时要注意这一变化。
SWE-Lancer适合谁用？
AI 能力评测研究者
推荐需要把模型在真实付费项目上的表现量化成金额，SWE-Lancer 提供了 1400 多个任务和 100 万美元的标尺。
AI 经济影响分析者
推荐关注 AI 会替代多少软件开发工作，可直接引用按任务报酬分档的成绩，判断哪一档工作先受冲击。
模型开发团队
推荐可借助开源 Docker 镜像与公开评测集 SWE-Lancer Diamond 复现结果，验证自己的模型在同类任务上的位置。
日常写代码的开发者
不推荐SWE-Lancer 是评测基准而非编码工具，没有可直接使用的编码界面，想提效应另选编程助手。
个人订阅用户
不推荐官网未公开面向个人用户的使用方式或价格档位，想按月付费使用的人会找不到入口。
SWE-Lancer优点和缺点
优点
- 任务全部来自 Upwork 真实项目，合计价值 100 万美元
- 单价跨度从 50 美元到 32000 美元，能按金额分档评估
- 独立任务用资深工程师三重验证的端到端测试评分
- 管理类任务对照原雇佣工程经理的真实选择
- 开源统一 Docker 镜像与公开评测集 SWE-Lancer Diamond
- 把模型表现直接映射成货币价值，便于做经济影响研究
缺点
- 是评测基准，不是能直接上手的编码工具
- 任务取自 Upwork，以英文外包项目场景为主
- 评测结论显示前沿模型仍解不出大多数任务
SWE-Lancer常见问题
SWE-Lancer 是能直接用的写代码工具吗？＋
不是。它是 OpenAI 发布的软件工程基准测试，用途是衡量前沿大模型能不能完成真实的自由职业软件项目，并把成绩换算成金额，而不是给开发者日常写代码、改 bug 用的产品。想提升编码效率需要另找编程助手。
它包含多少任务，值多少钱？＋
包含超过 1400 个来自 Upwork 的真实自由职业软件工程任务，合计价值 100 万美元。任务报酬跨度很大，既有 50 美元的错误修复，也有 32000 美元的功能实现。
任务是怎么评分的？＋
分两类。独立工程任务用端到端测试来判定，这些测试由经验丰富的软件工程师三重验证过；管理类任务要求模型在多个技术实现方案之间做选择，评分对照的是原项目雇佣的工程经理做出的真实选择。
模型现在的表现怎么样？＋
根据发布时的评测结论，前沿模型仍无法解决其中大多数任务。这也是该基准的用意之一：用真实付费项目的完成情况，给出模型能力当前边界的具体参照。
数据集有更新吗？＋
有。2025 年 7 月 28 日的更新说明，数据集与结果已更新到 2025 年 7 月 17 日，公布在开源仓库与系统卡中。更新后的数据集取消了执行时必须联网的要求，消除了模型表现的一个主要波动来源。
能拿到数据自己复现吗？＋
可以。OpenAI 开源了统一的 Docker 镜像和公开评测集 SWE-Lancer Diamond，用于方便后续研究。页面上的 Access repository 入口可以直接进入仓库。
