AI钻井系统:邮件准时发出,核心指标为何没动?
2026年某个秋天,一位钻井公司副总裁找到了一家AI供应商,他想要的东西听起来特别简单:做一个每日生产总结邮件,再做一个能问油井问题的聊天机器人。他还特意叮嘱,停机时长的编码系统已经自动化了,不在这次项目范围内。这个需求描述清清楚楚,交付团队也如期完成,功能全部跑通,每日邮件按时发出,聊天机器人对答如流。...
2026年某个秋天,一家钻井公司的副总裁约见AI供应商,提的要求听上去再简单不过:做一份每日生产总结邮件,再做一个能就油井问题对话的聊天机器人。他同时特别交代了一件事——停机时长的编码系统早就自动化了,这次不用碰。
需求写得清楚,交付团队也按节点做完了。功能全部跑通,每日邮件准时发出,聊天机器人对答如流。
可公司盯着的那个核心业务指标,一分没动。
卡点在哪儿?就在那个被明确划到范围之外的停机编码系统。这套系统靠关键词脚本自动判定一次停机该由谁负责,判错的次数不少——本该记在设备方账上的停机,被算到了承包商头上。每个月至少有一条记录会闹出争议,争议一出,整月的停机赔偿金就被冻住。真正攥住公司钱袋子的,是这套被排除在项目外的判责脚本,而不是缺一封AI摘要邮件。
这样的故事并非孤例,它其实是一群研究者给AI出的系统性难题的一个切面。这道题被他们做成了一个叫
为什么"题目写对了"比"答案做对了"更难
眼下多数评测AI编程能力的基准,考的其实都是同一件事:给你一份
工单
这类测试藏着一个前提——题目本身得是对的。可现实中的交付远不是这么回事。企业专门雇来做项目的工程师有个叫法,前向部署工程师,英文缩写FDE。
前向部署工程师(FDE):供应商派到客户组织内部驻场的工程师,他们的活儿不只是照着需求写代码,还得主动把客户业务里真正卡住的地方挖出来。
FDE撞上的第一道坎,通常不是"这个功能怎么实现",而是"客户提出的这个需求,本身对不对"。甲方老板看到的往往只是症状,病根在哪儿并不清楚。前面那个钻井平台的例子就很典型:老板想要的是"炫酷的AI成果",真正卡脖子的却是他主动排除在外的判责逻辑。
这就像去医院跟医生说"我最近总头疼,给我开点止痛药"。只会执行医嘱的护士照办就是,药吃完头确实不疼了,可要是病根在颈椎压迫神经,止痛药只是把问题盖住,拖得越久越麻烦。真正负责的医生会先问疼了多久、有没有别的症状,上手摸一摸颈椎,然后告诉你止痛药不是你要的东西。AI要是只会当那个"照方抓药"的护士,放到真实企业的交付场景里,成绩就只能停在及格线以下。
现有的评测基准,无论是看AI能不能解掉GitHub上的代码问题,还是看它能不能按技术规范把系统部署起来,几乎都默认"问题已经定义好了"。
FDE-Gym
研究团队没有凭空造场景,而是把过去两年在中国、新加坡和美国真实发生过的20个客户交付项目,改造成了可以操作的模拟环境。项目横跨18个行业,能源钻井、医疗分诊、银行反诈、仓储机器人都在其中,企业数字化的各个角落基本都覆盖到了。
每个场景不止出一道题,而是在同一个客户环境下设计2到7个变体,合起来共95个任务。变体会动关键事实:这次是哪条规则过期了,这次关键信息攥在谁手里,这次老板的需求究竟对不对。用意很直接——只给AI一道固定题,它完全可能靠背套路混过去;换掉一个事实细节,套路马上就失效。
环境里还埋着130多个像"活人"一样的虚拟客户角色。每个人物知道什么、有哪些认知偏差、什么条件下才肯透露信息,都提前写死在脚本里,保证每次测试结果都能复现。
脚本化模拟
研究者还给这些虚拟人设了限制:耐心有上限,得拿到证据才肯说真话,有的暂时不在岗,有的拒绝被某些人联系。AI得自己摸清该找谁问、该怎么开口。这很像刚进一家新公司,想弄明白一个流程为什么卡住——别指望有人把真相写进欢迎手册直接塞给你,你得判断该问财务还是问法务,谁今天不在工位,跟谁说话得先亮出证据。少了这套"活人感"设计,AI很容易退化成"读文档就能通关",面对真实组织的复杂性根本测不出应变能力。
怎么给"交付得好不好"打分
这是
具体来说,研究者定了一个指标,叫归一化业务提升,用字母U表示。
归一化业务提升(U)
打分逻辑里还挂了两个惩罚项。其中一个叫
利益相关者联系成本(C)
最终得分是业务提升减去联系成本,这个算法很贴近职场的真实逻辑。你身边有没有这样的同事:一个简单问题能反反复复来问你十几遍,每回都占你五分钟,一天下来你自己的活儿全被打断。企业里咨询客户不是白来的,客户的时间是有价资源,问得太频繁、问不到点子上,本身就是成本。评分系统要是不设这个扣分项,AI很可能演化出一种策略——能问的全问一遍,反正问多了不扣分,这显然跟真实世界对高效沟通的要求是反着的。
为了不让AI靠投机取巧刷分,研究团队还立了四条准入门槛:专家写的参考答案至少得拿到0.95分;什么都不做的基线必须是0分;只会照搬老板原话、不去挖隐藏约束的"字面交付"最多0.2分;各种走捷径的策略上限也只有0.8分。这些门槛经过270多种作弊手法的反复测试,确保AI钻不了空子。
研究者给每个场景划了四个难度档,逐层看AI的真实水平。
为弄清AI究竟卡在哪一环,他们把每个场景拆成四个难度级别,从
L0
这种拆法像剥洋葱,信息遮蔽被一层层揭开,要看清AI是栽在不会解题、栽在看不懂题,还是压根没发现题目本身有问题。
四层体系配上95个任务,研究团队一共跑了13个模型配置,来自七个厂商,涵盖Claude Opus 5.5、Sonnet 5.5、GPT-6系列、GLM、DeepSeek、Gemini、Qwen、Mistral等主流选手,每个组合跑三次取平均,累计接近两千次任务运行。
分数出来后,相当难看。
最强的是Claude Opus 5.5,在最贴近真实情况的
换句话说,眼下最顶尖的AI放到真实企业交付场景里,大约七次出手只有一次能真正踩中客户的痛点。
有个发现连研究者自己都没料到。他们原以为AI最大的失误会出在读错题上,也就是信了老板给的错误方向;数据却给出相反的画面:规则和约束被明说出来时,情况反而更差。
但往后,从
这有点像老司机开进陌生城市,GPS信号一断,得自己辨方向,立马手忙脚乱,车速掉得明显。可等他适应了没有导航的状态,哪怕路牌写错字,凭直觉和沿途观察也能八九不离十地找对路,不会比刚才慢多少。真正要命的不是终点路标写错,而是失去导航的那一下。
另一个发现更出人意料。顶尖模型在
可见光把问题问清楚远远不够。Claude Opus 5.5真正拿到全部关键事实的23个任务里,业务提升分数达到0.8以上的最终只有10个。研究者用一句话概括这道差距:知道事实,不等于能把事情做好。
好比一位资深医生,你花大量时间把病人的病史、过敏史、家族史都问清了,问诊环节堪称满分;可上了手术台,手一抖,缝合线打结位置偏了,病人照样恢复不好。调查和执行是两套本事,前者再漂亮也补不上后者的短板。评测体系若只盯信息收集全不全,不看最终方案有没有解决真问题,就很可能高估AI的实际交付能力。
联系成本这一项也实打实吃掉不少分数。GPT-6 Astra交付的系统在95个任务里有36个业务提升达到0.8分及以上,扣掉联系成本后,保住任务已解决认定的只剩9个。Claude Opus 5.5则是从40降到14。AI提问时完全没意识到问一句话是要花钱的,挥霍起来像把咨询客户当免费资源。
弱模型的表现更难让人放心。Claude Haiku 4.5在95个任务里有79个得分低于什么都不做的基线,也就是说它交付的系统,比客户压根没请AI、什么都没改还糟。Mistral Small 4交付的系统里,有23个任务造成的损害超过了专家方案本该带来的收益总量。
花得多,不等于做得好。
研究团队还留意到一个反常识的现象:模型投入的计算成本和最终交付质量之间,几乎找不到稳定的正相关。
GPT-6.1 Sol一次任务只花0.24美元,25个操作步骤就交了方案,拿到0.37分;Gemini 3.8 Flash一次任务烧掉1.54美元,用了121个操作步骤,最终只拿0.19分。更夸张的是Qwen 3.8 Flash,平均每次任务要跑169个操作步骤、耗时110分钟,152组测试组合里只有11组在限定时间内成功提交方案,得分仅0.07。
这像公司里那种同事:开会最积极、加班最晚、方案文档最厚,交出来的成果却总差点意思;另一些人看着云淡风轻,没加几次班,方案却总能切中要害。值钱的不是花了多少时间和精力,而是有没有判断力知道什么时候该收手、方案什么时候够用了。三个表现最好的模型,恰恰都能在26到60个操作步骤内果断提交,懂得何时完工本身就是一种被低估的能力。
把它和其他基准测试摆在一起看,差别更清楚。
研究者还把
一个模型在给定清晰题目、按部就班做对上有多强,几乎无法用来预测它在真实企业交付场景里能干多好。两种能力之间的落差,比大多数人想的大得多。
这些发现拼起来,画面挺清晰。当下的AI照着说明书把事情做对已经相当成熟;一旦要它自己判断说明书对不对、自己摸排隐藏的约束条件、自己权衡沟通成本和交付质量,短板立刻露出来。真正拖后腿的不是听不懂需求,而是把听懂的东西转化成管用方案的最后一公里。
写在后面
读完论文,最触动人的是研究者自己也承认推翻了最初假设的那处发现。他们原以为AI会栽在读错题上,数据却显示最贵的学费交在读题之后怎么把事做扎实这一关。这提醒一件事:很多时候我们以为AI的瓶颈在理解力,实际瓶颈可能在执行的细腻程度上。
还有个细节值得单独拎出来。研究团队给每个场景设计了多个事实变体,并规定同一种问题模式不能在超过三分之一的场景里重复出现。这设计看着枯燥,却是整篇论文站得住脚的关键:AI没法靠背答案蒙混,每次都得从头判断这回的具体情况。
论文里弱模型比什么都不做还糟这个结论,其实值得所有正考虑用AI替代人工的企业老板多想一层。挑一个便宜但能力不足的模型,不是省钱的低配版,而可能是真金白银的负资产。这和招人一个道理:一个能力不够还不自知的员工,造成的损失往往比岗位空着更大。
眼下这项评测只覆盖了AI模型。人类专家在相同条件下表现如何,研究者正通过自家在线平台收集数据,后续版本会公布结果。等人类基线数据出炉,大概才能看清这最后一公里究竟是AI还没追上人,还是人在这件事上本来就没那么强。
Q&A
Q1:
A:
Q2:AI已经把客户需求问明白了,为什么交付效果还是不行?
A:论文给出的数据是,最强模型在最高难度等级下能拿到72%到85%的关键信息,可交付系统在业务提升上的得分只有参考方案的60%到70%。摸清信息和把信息变成能用的方案,是两回事,问得清楚不等于做得好。Q3:表现最弱的模型又会带来什么后果?
论文里,Claude Haiku 4.5在95个任务中有79个得分低于“什么都不做”的基线;Mistral Small 4则在23个任务上造成的损害超过了专家方案本应带来的收益。弱模型交付,有时候还不如不交付。