2026年11月8日公布的这项结果显示,在273道多模态任务上,GPT-6 Astra平均通过69.9%的验收条件,整任务完成比例却只有26.4%。
事实还原
273道任务源自37463条去重查询,取自26314个真实开发者编码会话。基准分多模态编辑与仓库编辑两轨,前者侧重本地化编辑,后者涉及仓库级修订。每道任务都配了专家编写的隐藏验收标准,共2331条,评分走judge-then-refute协议。
测试涉及10个模型端点。凡是仓库编辑任务跨三到四种变更类型,各端点的标准完成率都低于只含一到两种变更类型的任务。基准不给金标准代码,也不给目标截图,审计靠源代码与浏览器证据,外加独立的LLM验证器。
机制拆解
能力被划成grounded understanding、UI transformation与functional implementation三个维度。真实用户请求里常夹带图像、音频、视频或文档,智能体得在看不到目标输出的前提下完成修订。验收条件局部满足与整任务完成之间差了43.5个百分点,说明多步骤协调执行时,部分标准过了,后续环节一旦失败,整个任务照样交不出来。
变更类型一多,智能体在一致性与完整性上就更吃力,仓库编辑轨道的下滑正说明了这一点。协议让独立验证器去挑战正面判定,视觉与交互方面的误判因此减少。
产业影响
从这组结果看,编码智能体在真实用户场景中好不好用,仍卡在从局部满足到完整交付这一步。基准把合成测试的高分和实际应用中的交付分开来看,开发者或许会更重视多步骤协调与错误恢复。
这套多家机构参与的测试框架,为衡量agentic模型在真实应用修订中的表现提供了参照。整任务完成率偏低,相关产品进入生产环境的采用决策可能因此受影响。
战略判断(分析而非事实)
按已有事实推断,基准暴露的差距或许会促使行业重新审视评估方法,把支持长序列变更协调的模型架构放到优先位置。如果后续测试沿用类似口径,局部优化的路子可能要让位给端到端交付能力的提升。