AI钻井系统:邮件准时发出,核心指标为何没动?

资讯 腾讯网 作者:科技行者 全文 4714 字 · 约 12 分钟读完 分类机器人

2026年某个秋天,一位钻井公司副总裁找到了一家AI供应商,他想要的东西听起来特别简单:做一个每日生产总结邮件,再做一个能问油井问题的聊天机器人。他还特意叮嘱,停机时长的编码系统已经自动化了,不在这次项目范围内。这个需求描述清清楚楚,交付团队也如期完成,功能全部跑通,每日邮件按时发出,聊天机器人对答如流。...

所属频道 机器人与具身智能

2026年某个秋天,一家钻井公司的副总裁约见AI供应商,提的要求听上去再简单不过:做一份每日生产总结邮件,再做一个能就油井问题对话的聊天机器人。他同时特别交代了一件事——停机时长的编码系统早就自动化了,这次不用碰。

需求写得清楚,交付团队也按节点做完了。功能全部跑通,每日邮件准时发出,聊天机器人对答如流。

可公司盯着的那个核心业务指标,一分没动。

卡点在哪儿?就在那个被明确划到范围之外的停机编码系统。这套系统靠关键词脚本自动判定一次停机该由谁负责,判错的次数不少——本该记在设备方账上的停机,被算到了承包商头上。每个月至少有一条记录会闹出争议,争议一出,整月的停机赔偿金就被冻住。真正攥住公司钱袋子的,是这套被排除在项目外的判责脚本,而不是缺一封AI摘要邮件。

这样的故事并非孤例,它其实是一群研究者给AI出的系统性难题的一个切面。这道题被他们做成了一个叫

为什么"题目写对了"比"答案做对了"更难

眼下多数评测AI编程能力的基准,考的其实都是同一件事:给你一份

工单

这类测试藏着一个前提——题目本身得是对的。可现实中的交付远不是这么回事。企业专门雇来做项目的工程师有个叫法,前向部署工程师,英文缩写FDE。

前向部署工程师(FDE):供应商派到客户组织内部驻场的工程师,他们的活儿不只是照着需求写代码,还得主动把客户业务里真正卡住的地方挖出来。

FDE撞上的第一道坎,通常不是"这个功能怎么实现",而是"客户提出的这个需求,本身对不对"。甲方老板看到的往往只是症状,病根在哪儿并不清楚。前面那个钻井平台的例子就很典型:老板想要的是"炫酷的AI成果",真正卡脖子的却是他主动排除在外的判责逻辑。

这就像去医院跟医生说"我最近总头疼,给我开点止痛药"。只会执行医嘱的护士照办就是,药吃完头确实不疼了,可要是病根在颈椎压迫神经,止痛药只是把问题盖住,拖得越久越麻烦。真正负责的医生会先问疼了多久、有没有别的症状,上手摸一摸颈椎,然后告诉你止痛药不是你要的东西。AI要是只会当那个"照方抓药"的护士,放到真实企业的交付场景里,成绩就只能停在及格线以下。

现有的评测基准,无论是看AI能不能解掉GitHub上的代码问题,还是看它能不能按技术规范把系统部署起来,几乎都默认"问题已经定义好了"。

FDE-Gym

研究团队没有凭空造场景,而是把过去两年在中国、新加坡和美国真实发生过的20个客户交付项目,改造成了可以操作的模拟环境。项目横跨18个行业,能源钻井、医疗分诊、银行反诈、仓储机器人都在其中,企业数字化的各个角落基本都覆盖到了。

每个场景不止出一道题,而是在同一个客户环境下设计2到7个变体,合起来共95个任务。变体会动关键事实:这次是哪条规则过期了,这次关键信息攥在谁手里,这次老板的需求究竟对不对。用意很直接——只给AI一道固定题,它完全可能靠背套路混过去;换掉一个事实细节,套路马上就失效。

环境里还埋着130多个像"活人"一样的虚拟客户角色。每个人物知道什么、有哪些认知偏差、什么条件下才肯透露信息,都提前写死在脚本里,保证每次测试结果都能复现。

脚本化模拟

研究者还给这些虚拟人设了限制:耐心有上限,得拿到证据才肯说真话,有的暂时不在岗,有的拒绝被某些人联系。AI得自己摸清该找谁问、该怎么开口。这很像刚进一家新公司,想弄明白一个流程为什么卡住——别指望有人把真相写进欢迎手册直接塞给你,你得判断该问财务还是问法务,谁今天不在工位,跟谁说话得先亮出证据。少了这套"活人感"设计,AI很容易退化成"读文档就能通关",面对真实组织的复杂性根本测不出应变能力。

怎么给"交付得好不好"打分

这是

具体来说,研究者定了一个指标,叫归一化业务提升,用字母U表示。

归一化业务提升(U)

打分逻辑里还挂了两个惩罚项。其中一个叫

利益相关者联系成本(C)

最终得分是业务提升减去联系成本,这个算法很贴近职场的真实逻辑。你身边有没有这样的同事:一个简单问题能反反复复来问你十几遍,每回都占你五分钟,一天下来你自己的活儿全被打断。企业里咨询客户不是白来的,客户的时间是有价资源,问得太频繁、问不到点子上,本身就是成本。评分系统要是不设这个扣分项,AI很可能演化出一种策略——能问的全问一遍,反正问多了不扣分,这显然跟真实世界对高效沟通的要求是反着的。

为了不让AI靠投机取巧刷分,研究团队还立了四条准入门槛:专家写的参考答案至少得拿到0.95分;什么都不做的基线必须是0分;只会照搬老板原话、不去挖隐藏约束的"字面交付"最多0.2分;各种走捷径的策略上限也只有0.8分。这些门槛经过270多种作弊手法的反复测试,确保AI钻不了空子。

研究者给每个场景划了四个难度档,逐层看AI的真实水平。

为弄清AI究竟卡在哪一环,他们把每个场景拆成四个难度级别,从

L0

这种拆法像剥洋葱,信息遮蔽被一层层揭开,要看清AI是栽在不会解题、栽在看不懂题,还是压根没发现题目本身有问题。

四层体系配上95个任务,研究团队一共跑了13个模型配置,来自七个厂商,涵盖Claude Opus 5.5、Sonnet 5.5、GPT-6系列、GLM、DeepSeek、Gemini、Qwen、Mistral等主流选手,每个组合跑三次取平均,累计接近两千次任务运行。

分数出来后,相当难看。

最强的是Claude Opus 5.5,在最贴近真实情况的

换句话说,眼下最顶尖的AI放到真实企业交付场景里,大约七次出手只有一次能真正踩中客户的痛点。

有个发现连研究者自己都没料到。他们原以为AI最大的失误会出在读错题上,也就是信了老板给的错误方向;数据却给出相反的画面:规则和约束被明说出来时,情况反而更差。

但往后,从

这有点像老司机开进陌生城市,GPS信号一断,得自己辨方向,立马手忙脚乱,车速掉得明显。可等他适应了没有导航的状态,哪怕路牌写错字,凭直觉和沿途观察也能八九不离十地找对路,不会比刚才慢多少。真正要命的不是终点路标写错,而是失去导航的那一下。

另一个发现更出人意料。顶尖模型在

可见光把问题问清楚远远不够。Claude Opus 5.5真正拿到全部关键事实的23个任务里,业务提升分数达到0.8以上的最终只有10个。研究者用一句话概括这道差距:知道事实,不等于能把事情做好。

好比一位资深医生,你花大量时间把病人的病史、过敏史、家族史都问清了,问诊环节堪称满分;可上了手术台,手一抖,缝合线打结位置偏了,病人照样恢复不好。调查和执行是两套本事,前者再漂亮也补不上后者的短板。评测体系若只盯信息收集全不全,不看最终方案有没有解决真问题,就很可能高估AI的实际交付能力。

联系成本这一项也实打实吃掉不少分数。GPT-6 Astra交付的系统在95个任务里有36个业务提升达到0.8分及以上,扣掉联系成本后,保住任务已解决认定的只剩9个。Claude Opus 5.5则是从40降到14。AI提问时完全没意识到问一句话是要花钱的,挥霍起来像把咨询客户当免费资源。

弱模型的表现更难让人放心。Claude Haiku 4.5在95个任务里有79个得分低于什么都不做的基线,也就是说它交付的系统,比客户压根没请AI、什么都没改还糟。Mistral Small 4交付的系统里,有23个任务造成的损害超过了专家方案本该带来的收益总量。

花得多,不等于做得好。

研究团队还留意到一个反常识的现象:模型投入的计算成本和最终交付质量之间,几乎找不到稳定的正相关。

GPT-6.1 Sol一次任务只花0.24美元,25个操作步骤就交了方案,拿到0.37分;Gemini 3.8 Flash一次任务烧掉1.54美元,用了121个操作步骤,最终只拿0.19分。更夸张的是Qwen 3.8 Flash,平均每次任务要跑169个操作步骤、耗时110分钟,152组测试组合里只有11组在限定时间内成功提交方案,得分仅0.07。

这像公司里那种同事:开会最积极、加班最晚、方案文档最厚,交出来的成果却总差点意思;另一些人看着云淡风轻,没加几次班,方案却总能切中要害。值钱的不是花了多少时间和精力,而是有没有判断力知道什么时候该收手、方案什么时候够用了。三个表现最好的模型,恰恰都能在26到60个操作步骤内果断提交,懂得何时完工本身就是一种被低估的能力。

把它和其他基准测试摆在一起看,差别更清楚。

研究者还把

一个模型在给定清晰题目、按部就班做对上有多强,几乎无法用来预测它在真实企业交付场景里能干多好。两种能力之间的落差,比大多数人想的大得多。

这些发现拼起来,画面挺清晰。当下的AI照着说明书把事情做对已经相当成熟;一旦要它自己判断说明书对不对、自己摸排隐藏的约束条件、自己权衡沟通成本和交付质量,短板立刻露出来。真正拖后腿的不是听不懂需求,而是把听懂的东西转化成管用方案的最后一公里。

写在后面

读完论文,最触动人的是研究者自己也承认推翻了最初假设的那处发现。他们原以为AI会栽在读错题上,数据却显示最贵的学费交在读题之后怎么把事做扎实这一关。这提醒一件事:很多时候我们以为AI的瓶颈在理解力,实际瓶颈可能在执行的细腻程度上。

还有个细节值得单独拎出来。研究团队给每个场景设计了多个事实变体,并规定同一种问题模式不能在超过三分之一的场景里重复出现。这设计看着枯燥,却是整篇论文站得住脚的关键:AI没法靠背答案蒙混,每次都得从头判断这回的具体情况。

论文里弱模型比什么都不做还糟这个结论,其实值得所有正考虑用AI替代人工的企业老板多想一层。挑一个便宜但能力不足的模型,不是省钱的低配版,而可能是真金白银的负资产。这和招人一个道理:一个能力不够还不自知的员工,造成的损失往往比岗位空着更大。

眼下这项评测只覆盖了AI模型。人类专家在相同条件下表现如何,研究者正通过自家在线平台收集数据,后续版本会公布结果。等人类基线数据出炉,大概才能看清这最后一公里究竟是AI还没追上人,还是人在这件事上本来就没那么强。

Q&A

Q1:

A:

Q2:AI已经把客户需求问明白了,为什么交付效果还是不行?

A:论文给出的数据是,最强模型在最高难度等级下能拿到72%到85%的关键信息,可交付系统在业务提升上的得分只有参考方案的60%到70%。摸清信息和把信息变成能用的方案,是两回事,问得清楚不等于做得好。Q3:表现最弱的模型又会带来什么后果?

论文里,Claude Haiku 4.5在95个任务中有79个得分低于“什么都不做”的基线;Mistral Small 4则在23个任务上造成的损害超过了专家方案本应带来的收益。弱模型交付,有时候还不如不交付。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 机器人学会“预判”:PINT如何让AI既会思考又会预测未来

    你有没有想过,为什么教机器人做一件简单的事,比如把杯子叠起来,会这么难?人类小孩看一眼大人示范,摸索几次就能学会。但机器人不行。它得先理解你说的"把杯子叠起来"是什么意思,还得看懂眼前的画面,还得知道接下来手该往哪儿伸、力道多大、什么时候该松手。这三件事分别对应着语言理解、视觉感知和动作控制,听起来简...

    来源 腾讯网
  2. AI推理新解法:香港理工大学团队给模型配上会拍视频的助手

    你有没有遇到过这种情况:看一张照片,有人问你照片里那个红色的锥形物体,从机器人的视角看,到底是在蓝色方块的左边还是右边?你盯着照片看了半天,发现这事儿根本没法直接看出来。你得在脑子里把自己挪到机器人那个位置,想象一下从那个角度看过去,红色锥体和蓝色方块会是什么相对关系。这个"脑补"的过程,人类做起来毫...

    来源 腾讯网
  3. 蚂蚁集团上半年赚152亿:AI三线并进,支付、应用与机器人齐发力

    11月19日,阿里2026年三季度财报披露,上半年从蚂蚁集团获收益50.23亿元,据此推算蚂蚁上半年利润约152亿元,同比增约17%。增长主要得益于公允价值收益净增加,部分被科技及新增长举措投入抵消。CEO韩歆毅重申保持高强度AI投入,推动技术向多元场景渗透,今年以来蚂蚁围绕构建底座、打造应用等布局。

    来源 AI 产业速递
  4. 当3D建模变成了写代码这件事

    你有没有想过,一个三维物体,一座房子,一条机械臂,甚至一场动画,可以用一行行文字代码直接写出来,而不是靠鼠标在软件里一点点拖拽?这听起来有点反直觉。我们习惯的3D建模是Blender里拉面、挤出、贴材质,是CAD软件里画草图、拉伸、倒角,全程靠眼睛看、靠手调。但如果换个思路,让3D内容从一开始就是一段可执行的程序,..

    来源 腾讯网
  5. 马斯克:预计未来12-18个月Optimus人形机器人能做家务劳动

    IT之家 11 月 19 日消息,特斯拉 CEO 埃隆 · 马斯克(Elon Musk)今日在视频连线采访中表示,预计未来 12-18 个月,Optimus(擎天柱)人形机器人就能做到倒垃圾、洗碗并将碗碟收进橱柜等家务劳动。马斯克表示,Optimus 有望在 12 至 18 个月内完成多步骤复杂操作,先用于重工业,再进

    来源 腾讯网
  6. AIE电子展2026:一展双城,诺奖得主与芯片掌门人同台聊什么?

    人工智能与制造业的关系,正在从“展示”走向“改造”。 过去两年,AI在产业端最直观的形象,是展台上会跳舞的人形机器人和能自动生成文案的模型。但当技术真正进入工厂、进入供应链、进入材料和芯片实验室,问题开始变得具体:算力够不够便宜、材料迭代跟不跟得上、AI的能耗由谁承担、芯片与整机如何协同升级。 这些问题的共同点是——没

    来源 AI 行业观察
  7. OpenAI首款AI硬件揭秘:苹果班底操刀,富士康立讯分食订单

    OpenAI确实是挖到苹果的「大后方」了。 证券时报11月19日一早就援引供应链消息指出,富士康旗下富智康集团(FIH)已经获得OpenAI手机项目订单,将参与相关产品的整机组装。事实上,前一晚每日经济新闻也援引供应链人士表示,立讯精密目前与OpenAI有多个产品的全面合作,「或因资源配置的统筹考量未承接手机组装业务。

    来源 AI 行业观察
  8. 机器人上菜发现是肉该不该端?港科大等提出CarryOn双循环架构

    设想一个场景。你坐在家里,跟机器人说了一句"帮我上菜"。没有说明是什么菜,没有说明你的饮食偏好,就这么简单一句话。机器人走到灶台边,掀开一个盖子,发现下面是一块肉。它会怎么做?如果这个机器人只是一个训练有素的"动作执行者",它大概率会直接把肉端给你,因为指令里就是"上菜",而盖子底下确实有菜。但如果你上个月...

    来源 腾讯网
  9. 人形机器人从“追技术”转向“用技术”,机器人ETF景顺(159559)押的是什么

    近期,摩根士丹利AlphaWise做了一份人形机器人调查,采集了94位中国制造、工业与服务业高管的看法。结果很有意思:64%的受访公司表示可能在三年内采用人形机器人,比2025年的62%还高;但同时,企业对应用时间表的预期平均推迟了约一年,满意度反而下降:只有18%的潜在采用者对现有产品表现满意,同比下降5个百分点。愿

    来源 腾讯网
  10. Claude开AI工厂:7周造38个模型,狂揽5.5万下载

    Claude开了一家造AI的工厂! 七周,Claude交出38个模型,狂揽约5.5万次下载,杀进100多个GitHub项目。 38个模型累计下载约5.5万次,光是提示注入检测系列就有约1.7万次下载。 这AI工厂背后的「老板」叫Horizon,是一个基于Claude Opus 5.5的智能体。 它开局拿到的,只是一个空

    来源 AI 行业观察
  11. 只改一处代码,谷歌 AI 智能体优化 Harness 后任务成功率提升 8 倍

    IT之家 11 月 20 日消息,谷歌研究人员当地时间 11 月 17 日最新发表的研究论文《Harnesses That Improve Themselves》(《能够自我改进的 Harness》)显示,通过让 AI 智能体逐步修改自身运行框架,并对每次修改进行验证,可以显著提高软件工程任务的完成率。 在一项 SWE

    来源 AI 行业观察
  12. 「赛博爱豆」要来了?宇树科技将牵手韩国公司,打造机器人女团

    11月19日消息,机器人要正式出道了。小雷哔哔(ID:xiaoleibbb)留意到,韩国娱乐公司Galaxy Corporation将牵手宇树科技,搞一个正经的机器人K-pop女团,要把演唱会开到全球各地。网上有一个说法非常贴切:中国造硬件,韩国出内容。宇树科技是国产人形机器人的头部玩家,负责提供机器人本体、运动控制技

    来源 腾讯网
  13. 美国签证限制波及中国机器人企业,小鹏汽车参展CES或受影响

    【文/观察者网 张家栋 编辑/高莘】据《日经亚洲》11月19日报道,包括众擎机器人等在内的多家中国机器人企业,近期有研究人员和工程师遭到美国签证拒签。这一情况发生在2027年美国消费电子展(CES)开幕前夕,可能影响中国企业赴美参展的人员安排及现场展示。2026 CES众擎T800机器人展示众擎机器人官网报道称,受影响

    来源 腾讯网
  14. AI智能体“闯入”银行系统?亚利桑那州对OpenAI等企业启动刑事调查

    【TechWeb】11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。” 梅耶斯透露,其办公

    来源 AI 行业观察
向下滚动自动加载更多