阿里巴巴Co-Design Bench：GPT-6 Astra整任务完成率仅26.4%
阿里巴巴联合五所高校发布Co-Design Bench，基于26314个真实编码会话提炼273道任务。GPT-6 Astra平均满足69.9%验收条件，但完整完成任务仅26.4%。报告指出局部达标与完整交付存在明显差距，测试覆盖多模态编辑与仓库编辑两轨。
2026年11月8日，阿里巴巴与五所高校联合发布Co-Design Bench。测试中，
GPT-6 Astra在273道多模态任务上平均满足69.9%的验收条件，可整道任务完整做完的只有26.4%。这套基准从26314个真实开发者编码会话里提炼出273道题，背后是37463条去重查询。基准分多模态编辑和仓库编辑两轨，既涉及本地化编辑，也覆盖仓库级修订。每道任务都配了隐藏的验收标准，共2331条，由专家编写，评分走judge-then-refute协议。
事实还原
测试横跨10个模型端点。这些端点在仓库编辑任务上的表现有个共同点：变更类型达到三到四种时，标准完成率都低于只有一到两种变更类型的任务。基准不给金标准代码，也不给目标截图，审计靠源代码、浏览器证据和独立LLM验证器。
机制拆解
基准把能力划成三个维度：grounded understanding、UI transformation和functional implementation。真实用户的请求里往往夹着图像、音频、视频或文档，智能体得在看不到目标输出的前提下把修订做完。局部满足验收条件和整任务完成之间差着43.5个百分点——多步骤协调执行时，一部分标准过了，后面某个环节失手，整个任务照样交不了。仓库编辑轨道掉得更明显，变更类型一多，智能体在一致性和完整性上就更吃力。协议让独立验证器去挑战正面判定，视觉和交互方面的误判因此少了一些。
产业影响
这组结果显示，编码智能体在真实用户场景里好不好用，卡就卡在从局部满足到完整交付这一段。基准把合成测试的高分和实际应用中的交付摆在一起对比，开发者或许会更在意多步骤协调和错误恢复。多家机构参与的这套测试框架，为衡量agentic模型在真实应用修订中的水平提供了参照。整任务完成率偏低，也可能影响相关产品在生产环境中的采用决策。
战略判断（分析而非事实）
从已有事实看，基准暴露的差距可能让行业回头重新打量评估方法，把支持长序列变更协调的模型架构排在优先位置。若后续测试沿用类似口径，局部优化的打法或需让位给端到端交付能力的提升。
