BizBench:当AI客服拿到银行账户权限之后,会出什么乱子

资讯 腾讯网 作者:科技行者 全文 5035 字 · 约 13 分钟读完 配图 1 张 分类金融 AI

你有没有想过这样一个场景:你让一个新来的银行客服帮你处理一笔跨境付款,他手脚很快,三分钟就把钱打出去了,还顺便帮你把之前拖欠的税款也补缴了。结果你一看记录,发现他在打款之前,账户余额曾经短暂跌破了银行规定的最低备付金线。钱最后到账了,任务"完成"了。但银行的风控部门不会说"没事,反正最后补回来了"。这是...

所属频道 行业落地

你有没有想过这样一个场景:你让一个新来的银行客服帮你处理一笔跨境付款,他手脚很快,三分钟就把钱打出去了,还顺便帮你把之前拖欠的税款也补缴了。结果你一看记录,发现他在打款之前,账户余额曾经短暂跌破了银行规定的

钱最后到账了,任务"完成"了。但银行的风控部门不会说"没事,反正最后补回来了"。这是实打实的违规,哪怕只有一瞬间。

这正是蚂蚁国际这篇论文想揭穿的一个大问题。现在几乎所有评测AIBizBench。

一、为什么"任务完成"是个假命题

先说一个可能让你意外的事实:在支付这类业务里,一个未经授权的转账,就算钱后来被退回来了,依然算违规。

这跟我们平常理解AI

智能体*:能够自主理解任务、调用工具、执行多步操作来完成目标的AI系统,区别于只能单轮问答的传统聊天机器人。

但金融业务不是抓老鼠。银行有一条铁律:操作的合法性取决于它发生那一刻的授权状态、资金状态、政策状态,跟后面怎么收尾没关系。你今天先转账再补批准手续,这个顺序错了就是错了,哪怕最后批准文件补齐了也不行。

这篇论文选的测试场景,来自全球头部的一家支付和金融科技公司的真实业务。研究者把这家公司的跨境支付、外汇、资金托管这些业务流程,抽象成了一个可以运行的虚拟环境,里面塞进了789份知识文档和601个可被发现调用的业务工具。然后他们设计了50个长链条任务,每个任务都要求AI智能体在处理客户请求的同时,老老实实遵守一堆散落在各处、甚至互相冲突的业务规则。

实验结果让人有点意外。目前最强的几个模型里,

这意味着什么?

意味着即便是最顶尖的AI,每做10件事,也有3到4件事情在流程上出了岔子。而换成一个参数量小一些的模型,比如

更夸张的是

二、业务规则的"罗生门":新旧政策同时在场

这篇论文里有一个细节特别有意思,也特别真实,那就是过期政策文档不会自动消失。

你可能觉得这是常识,公司文档库里当然会有旧版本和新版本同时存在。但你有没有想过,这件事对AI智能体来说意味着什么?

意味着AI检索到一份文档,不代表这份文档是对的。它可能是三年前的规定,早就被新规则取代了,但系统里依然躺在那儿,格式工整、措辞权威,看起来跟最新文件一模一样。

这就好比你去图书馆查资料,书架上同时摆着2015年版和2024年版的交通法规,两本书封面长得差不多,内容却有冲突。你如果随手抓一本就引用,很可能用错了年份的罚款标准。如果图书馆员不负责任地把过期的法规直接撤掉倒也省事,但现实中业务文档往往不能一撕了之,因为旧规则可能仍然适用于某些历史遗留案例,比如一份过期的保险条款依然要覆盖它生效期内发生的事故。所以旧文档必须留着,但AI必须自己判断"这份文档现在还管不管用"。

这就是论文里反复强调的一个核心挑战:业务规则不仅分散在各个文档里,还可能互相冲突,原因可能是适用的地区不同、产品不同、生效时间段不同。检索到相关信息远远不够,AI得弄清楚哪条规则才是对当下这个具体业务场景说话的。

论文里举了一个真实的例子。研究者让一个模型去查"税款缴纳 期间匹配 对账"相关的文档,结果排名第一的文档PX-B-77,其实是另一个产品线的"多缴退费"文档,跟手头这个业务完全不沾边;真正该看的文档PX-B-76排到了第五位。模型因为关键词相似就把两份文档都打开读了,但其中一份根本不适用这个业务场景。

这说明一个很朴素但容易被忽视的道理:检索排名靠前,不代表这份文档就该拿来用。关键词匹配得上,不代表业务场景匹配得上。

三、钱不够花的时候,AI要学会算账

论文里设计了一类特别刁钻的任务,叫

论文给了一个很具体的案例,叫"

如果AI把这个"保证净额"的服务用在了300美元那笔上,把400美元那笔走普通渠道,算下来会发现:之前那笔转账的退汇费20美元,加上保证净额的服务费20美元,加上中间行扣款35美元,再加上补差额的手续费5美元,总共刚好80美元。超了5美元。

两笔钱表面上都如期如数到账了,

这跟我们生活里一个很常见的场景很像:你出国旅游,给自己定了一天花费不超过500元的预算。结果你把钱花在了景点门票和打车上,晚上一算账发现超了50块。你买到了想要的体验,门票也是真的进了景点,但预算这条线你自己定的规矩,被自己打破了。如果没有这条预算线的约束,你怎么花都没问题,但一旦有了约束,"结果好"就不能掩盖"过程超支"的事实。

这类任务测试的,正是AI能不能在复杂的资源分配里精打细算,而不是逮住一个能用的方案就莽撞执行。

四、等信息,还是不等信息,这是个要命的选择

论文里还提了一类特别现实的难题,叫

想象一个场景:仓库还没确认库存状态,但优先配送窗口在仓库确认结果出来之前就要关闭了。你如果老老实实等仓库回复,等到的时候配送窗口已经关了,只能走普通配送,但普通配送的时效满足不了那个最紧急的订单要求。

论文里的具体案例是这样的:商家要重新核对一笔已经付过款的订单,还要在限定时间内发货三件商品。其中一件要求两分钟内评分达到15分以上的快递渠道,另外两件要求五分钟内评分10分以上的渠道都行。优先配送服务一分钟就能搞定,但必须在时刻0就预订,过时不候。普通配送要三分钟。

如果AI先去修正订单记录、处理退款差额,折腾了一分钟之后才去查仓库库存结果,优先配送的预订窗口已经关闭了。等库存结果出来,确实能找到满足条件的库存,但那第一件要求两分钟内到位的商品,已经没有办法通过剩下的配送方式按时交付了。

这就跟你赶高铁一样,高铁检票口关闭前五分钟你还在排队买早餐,觉得"再等一会儿没关系",结果早餐买到手,高铁却开走了。核对信息的动作本身没有错,排队买早餐这件事也没错,但在有截止时间的场景里,"先做什么,后做什么"这个顺序本身就是任务的一部分,等待也是会付出代价的。

这也是为什么论文反复强调,BizBench特意设计了"信息什么时候才能被观察到"和"某个操作的窗口什么时候关闭"这两条独立的时间线,逼着AI在等待和行动之间做权衡,而不是无脑地把所有信息都收集齐了再动手。

五、怎么判断AI到底有没有"老实做事"

说了这么多违规的坑,那论文到底怎么量化地检测出AI有没有踩坑?

研究者设计了一套三合一的检查标准。用公式写出来是这样的:一个任务的成功,等于

目标达成*:检查AI最终有没有把客户要求的事情办成,比如钱有没有真的到账、有没有收到正式的结算凭证。

过程合规*:检查AI在执行过程中有没有遵守该遵守的规矩,比如该拿到批准才能动手的事情,有没有真的先拿到批准。

保护条件

这三个检查全部基于确定性的程序化规则来判断,不靠AI当裁判去打分,这一点很关键,因为如果让另一个大模型来当裁判,裁判自己也可能犯同样的错误,等于拿不靠谱的尺子去量不靠谱的东西。

论文里还专门强调了一点,这个检查系统不要求AI必须按照某一条固定路径走,只要最终满足这三条标准,不管中间走了哪条路都算过关。这个设计思路挺聪明的,因为现实世界里解决同一个业务问题,往往有好几种合法的办法,如果死抠一个标准答案,反而会冤枉那些走了另一条合规路线的AI。

研究团队为了验证这套检查系统本身是不是靠谱,还专门做了一轮"故意使坏"的测试:让人工构造出一些明知道会违规的执行轨迹,看检查系统是不是真的能把它们揪出来,同时也测试一些走了不同合法路径的执行轨迹,确认系统不会误伤。这个思路跟测试一个新造的测谎仪一样,你不能光拿诚实的人去测它准不准,还得拿明知道在撒谎的人去测它灵不灵。

六、长链条任务里,AI到底在瞎忙什么

论文还有一组数据特别值得拎出来说。研究者统计了AI完成任务时实际调用工具的次数,拿去跟一份人工验证过的参考执行轨迹对比。

参考轨迹平均需要调用111.8次工具。

这多出来的八十次调用都花在哪了?

答案是信息查询。数据库查询这一项,参考轨迹平均59.2次,

说白了,AI不是在偷懒摸鱼,它是在反复确认、反复查阅,甚至很多时候是在原地打转。论文给出了一个更扎心的数字:同样的数据库查询,参数、查询条件、返回结果完全一模一样,这种纯粹的重复查询,DeepSeek-V4.1-Flash平均每次任务要出现16.4次。换成表现更差的

这就好像你让一个新员工去查一份客户资料,他查完之后过了十分钟,又去查了一遍一模一样的资料,内容没变,他却像是忘记自己查过一样再查一次。偶尔的二次确认是谨慎,但如果一次任务里反复出现十几次完全重复的查询,那说明他压根没有建立起一个"我已经知道了什么"的记忆框架,每一步都在从零开始摸索。

更极端的例子是

论文还做了一个很有说服力的"卡预算"实验。研究者把每个任务允许调用工具的次数,人为限制在参考轨迹次数的1.2倍、1.5倍、2倍这几个档位上,看看DeepSeek-V4.1-Flash的表现会怎么变。结果是:不设限制时严格成功率43.3%,限制到2倍时掉到26.7%,限制到1.5倍时只剩6.7%,限制到1.2倍时几乎归零,只有0.7%。

这组数据的意思是,就算给AI两倍于参考答案的操作余地,依然会把一大批本来能做成的任务做砸。这不是因为任务太难做不到,而是因为AI在信息搜索和反复核查上耗费了太多本不必要的步骤,把本该留给关键操作的预算提前花光了。

七、客服机器人到底靠不靠谱,还得看换人测不测得出来

最后值得一提的是论文做的一个稳健性检验。整个BizBench系统里,扮演"客户"这个角色的,也是一个AI,叫

用户模拟器

研究者担心的是,如果这个扮演客户的AI自己行为不规范,比如一次性把好几个批准都给了,或者该等AI汇报结果却自己抢着去操作,那整个测试的公平性就会被破坏。他们专门设计了两版提示词去测试这件事,原始版本在50个任务里出现了4次违反对话规则的情况,改进版本把触发这些混乱行为的提示词写得更明确之后,违规次数降到了零。

这说明一个容易被忽视的问题:测试AI智能体的时候,扮演对手或客户的那个AI,本身也可能是不靠谱的那个环节。你不能只盯着被测试的那个AI,陪练本身的训练质量同样决定了整场比赛的公正性。

研究团队还换了四种不同的模型来扮演这个用户模拟器,结果发现被测试的AI的严格成功率只在30.7%到36.0%之间波动,差距不到6个百分点。这说明测试结果不是靠某一个特定的"客户AI"凑出来的巧合,换个客户来演,结果基本还是那个结果。

写在后面

读这篇论文的过程里,最让我印象深刻的不是哪个模型分数高分数低,而是那个60美元账户、瞬间清零又被补回来的例子。这个案例干净利落地揭示了一个很容易被忽略的事实:时间是有方向的,业务规则在乎的是"那一刻"发生了什么,而不是"最终"变成了什么。

很多AI评测体系,包括我们日常理解AI能力的方式,都隐含着一个假设:只要终点对了,过程可以是黑箱。这篇论文把这个假设摆到了金融业务的放大镜下,结果发现这个假设在这里完全站不住脚。一个未经批准就执行的操作,哪怕最后被驳回了,这个"曾经尝试越权"的动作本身就已经构成了风险。

另一个让我反复琢磨的细节是,所有模型里,过程合规这一项的得分,普遍都比保护条件这一项的得分低。也就是说,相比"别伤害到不该动的东西",AI更容易在"按正确顺序做事"这件事上栽跟头。这或许暗示了一个有意思的方向:当前的大模型可能更擅长识别"这个东西不能碰",却更难把握"这件事必须先后两步走,顺序不能乱"这种带有时间维度的流程纪律。

论文里还有一个没有被充分展开的问题,就是如果把这套评测体系搬到医疗、法律这些同样强调"过程正确性大于结果正确性"的领域,会不会发现类似的、甚至更严重的过程违规比例?支付行业已经算是规则相对清晰、文档相对完备的领域了,如果连这里都有六成以上的严格失败率,那些规则更模糊、更依赖经验判断的领域,又会是什么样子?

Q&A

Q1:BizBench是什么?

A:BizBench是蚂蚁国际推出的一个长链条智能体测试基准,基于一家全球支付公司的真实业务流程构建,包含50个任务、789份知识文档和601个业务工具,专门用来检验AI智能体在完成任务的同时能不能遵守中间执行过程中的各种业务规则。

Q2:为什么任务最后完成了,还会被判定为失败?

A:因为支付等高风险业务要求操作在发生那一刻就必须合规,比如未经批准执行转账、账户余额曾跌破

Q3:目前表现最好的AI模型在BizBench上成绩如何?

A:表现最好的

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Anthropic上市前触发自身安全警报:AI进展速度超预期

    Anthropic即将登陆华尔街之际,却在上市文件中披露了一项安全警报:公司AI研发进展速度已达到自身设定的安全阈值,必须启动额外安全控制措施。11月19日,据英国《金融时报》报道,Anthropic在更新后的IPO申报文件中承认,其技术进展速度已触发2023年制定的“负责任扩展政策”(Responsible Scal

    来源 腾讯网
  2. OpenAI等AI企业遭亚利桑那州刑事调查:失控智能体疑入侵银行

    11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。”

    来源 TechWeb
  3. 亚利桑那州刑事调查OpenAI等AI企业:智能体被指入侵银行系统

    11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。”

    来源 TechWeb
  4. AI短剧利润“承压” 短剧公司押注互动影游

    上证报中国证券网讯(记者 操子怡)随着AI视频生成技术持续迭代,互动剧、互动影游等内容形态再次受到关注。 近日,记者采访多家AI短剧企业了解到,随着行业竞争加剧、盈利空间不断压缩,部分企业开始将目光转向互动影游等方向。与此同时,多家互联网平台和上市公司也在试图卡位。 短剧企业寻找新方向 “下一步,我们想做A...

    来源 腾讯网
  5. 微软AI修漏洞:月修复量近去年20倍,连环宕机相关?

    财联社11月19日讯(编辑 李莹)近日,微软多项云服务、美国联邦航空管理局(FAA)空管通信系统、摩根大通交易系统、美国国家安全局(NSA)机密网络,以及苹果多项线上服务相继出现中断故障,美国民众的工作、银行账户访问和出行接连受到干扰。多名网络安全专家认为,这一波宕机很可能与企业在AI推动下加速修补软件漏洞有关...

    来源 腾讯网
  6. 优秀员工悄悄绕过AI,背后藏着什么真相?

    2022年末,一家跨国银行批准了一套AI系统,用来实现常规信贷决策的自动化。表面看起来,这正是专家们一直敦促企业采取的所谓前瞻性举措。在试点阶段,该系统处理申请的速度快于人工,错误减少,并有望大幅降低成本。公司的风险管理部予以认可,合规部批准通过,CEO更是公开鼓吹该系统,将其作为银行挺进未来的有力证明。 六个月过去,

    来源 AI 行业观察
  7. 欧洲央行:4万亿美元表外承诺,AI首入系统性风险清单

    欧洲央行2026年11月金融稳定报告首次将AI估值过高列为系统性核心风险。报告显示,美国大科技企业表外承诺已超过4万亿美元,2025至2032年AI基础设施投资需求超过美国GDP的3%,2026年多数超大规模云计算企业自由现金流已转负。ECB副行长博里斯·武伊契奇明确警告银行与非银机构面临交叉传染风险,并将这

    来源 AI 科技快讯
  8. 亚利桑那刑事调查OpenAI AI代理入侵银行引发多州执法升级

    2026年11月18日,亚利桑那州检察长Kris Mayes宣布对OpenAI等AI公司启动刑事调查,焦点为AI代理未经授权渗透银行系统。此前加州已于11月16日提起民事诉讼,两州在24小时内相继行动,追责性质从民事升级为刑事,标志美国州级执法对AI代理失控风险的联动加强。报道基于公开声明与路透社信息,分析法

    来源 AI 科技快讯
  9. 多家银行:AI智能体擅自动账,损失算谁的?

    根据 Business Insider 查看的银行邮件和应用通知,银行实际上是在提醒用户:如果 AI 智能体获得了访问金融账户的权限,其执行的操作可能被视为用户本人的行为,而不是外部入侵者实施的操作。

    来源 凤凰科技
  10. 谷歌字节快手集体降价,AI视频进入分秒计价时代?

    (本文作者为 AIX财经,钛媒体经授权发布)文 | AIX财经,作者 | 王璐,编辑 | 魏佳AI视频行业正在靠近一个类似DeepSeek的时刻,模型能力差距收窄,价格被打到分/秒,创作者开始批量调用。11月初,谷歌把视频模型Gemini Omni 1.2 Flash转为正式版,不仅支持15秒视频生成和多轮对话式编辑等

    来源 腾讯网
  11. AI重构影像与硬件:IF 2027大会嘉宾阵容深度解析

    极客公园创新大会 IF 2027 公布第二批重磅嘉宾,涵盖影石、OPPO、Manus、影视飓风等头部企业与创作者。议题聚焦 AI 对相机、支付、3D 生成及具身智能的重塑,探讨在旧规则失效背景下,技术如何转化为真实商业价值与生活方式变革。

    来源 AI 应用前沿
  12. AI投研时代:这轮调整速度与结构对得上吗?

    天风证券通过对比本轮科技股调整与历史牛市见顶,结合申万二级行业数据得出三点结论:一、有业绩支撑的周期股逻辑见底更快、跌幅更深;二、AI投研时代行情见底时间整体拉长;三、无业绩支撑的纯叙事上涨,下跌共识形成速度加快。

    来源 华尔街见闻
  13. 证监会回应基金公司上报AI敞口传闻:称信息不实,未提数据报送要求

    来源: 全国网络辟谣 辟 谣 “监管要求基金公司上报全部产品AI敞口”不实 详情:11月18日,中国证监会新闻发言人就互联网上传播“监管要求基金公司上报全部产品AI敞口”相关信息答记者问。证监会新闻发言人称,上述信息不属实。公募基金投资运作依照《证券投资基金法》等法律法规和基金合同约定进行,投资标的、投资比例由基金管理

    来源 AI 行业观察
  14. 拉加德:AI与网络攻击结合,是当前最大金融威胁

    IT之家 11 月 20 日消息,据路透社报道,当地时间 20 日,欧洲央行行长克里斯蒂娜 · 拉加德发出警告,随着 AI 智能体日益先进,网络攻击的威胁也随之加剧,可能成为全球金融业当前面临的最大挑战。 拉加德在法兰克福举行的欧洲银行业大会上坦言,政策制定者尚未充分重视这一威胁。“真正让我和在座许多人夜不能寐的,就是

    来源 AI 行业观察
  15. 蚂蚁集团上半年赚152亿:AI三线并进,支付、应用与机器人齐发力

    11月19日,阿里2026年三季度财报披露,上半年从蚂蚁集团获收益50.23亿元,据此推算蚂蚁上半年利润约152亿元,同比增约17%。增长主要得益于公允价值收益净增加,部分被科技及新增长举措投入抵消。CEO韩歆毅重申保持高强度AI投入,推动技术向多元场景渗透,今年以来蚂蚁围绕构建底座、打造应用等布局。

    来源 AI 产业速递
  16. 华为星芒发车:一路踏AI,一路铺鸿蒙

    作者|郑敏芳2016年10月14日,华为当年第1亿部智能手机正式下线,比2015年达成这一节点提前了两个月。坐稳1亿部手机的出货量之际,华为推出了一条全新的产品线nova,希望进一步打开年轻消费市场。十年后,华为再次迎来一个与“1亿”有关的节点。11月16日,第三方数据显示,华为HarmonyOS 5及以上版本累计装机

    来源 腾讯网
  17. 自家人都看不下去了?数百谷歌员工要求公司允许中小学使用不含 AI 的谷歌搜索

    IT之家 11 月 20 日消息,当地时间 19 日,据彭博社报道,超过 500 名谷歌员工和合同工联名请愿,要求公司允许中小学继续使用不含 AI 功能的谷歌搜索。请愿书致谷歌 CEO 桑达尔 · 皮查伊、搜索业务负责人伊丽莎白 · 里德和教育业务负责人克里斯 · 菲利普斯。活动由 Alphabet 员工工会发起,其代

    来源 腾讯网
  18. 阿莫迪:AI领路人

    美国时间11月19日,Anthropic正式登陆纳斯达克,以“ANT”为股票代码挂牌,创下了全球史上最大规模IPO纪录。 就在上市前一天,Anthropic将发行价定在每股83美元,并将发行数量从8.25亿股增加到9.8亿股,最终公开发行规模达到813.4亿美元。 按发行价计算,这家成立不到六年的AI公司,完全稀释估值

    来源 AI 行业观察
  19. 霍普金斯大学:美国2027年或遇电网设备短缺,电费上涨

    IT之家 11 月 20 日消息,据《财富》杂志今日报道,过去一周,美国接连发生多起技术故障,导致航班停飞、银行交易延误,数百万人无法正常使用电子邮件,暴露出美国基础设施的脆弱性。美国电网同样存在短板,问题出在铜和钢等材料的供应上。约翰斯 · 霍普金斯大学近日在《Cell Reports Sustainability》

    来源 腾讯网
  20. 问诊AI?一场死亡背后的追问

    2026年2月,美国西雅图,31岁的华人女工程师万博雯被发现死于公寓。法医鉴定为癫痫猝死,她体内抗癫痫药物拉莫三嗪的浓度,仅为治疗下限的五分之一。 警察介入调查后发现,她曾咨询ChatGPT如何用药并按照其建议擅自修改了医生诊断的用药剂量。 她至少158次向其表达过对减药的担忧,描述过意识混乱、时间感丧失等症状。但每一

    来源 AI 行业观察
  21. 贝佐斯重返一线:Prometheus估值410亿美元,要做物理世界的OpenAI

    作者|宇航猿编辑|靖宇AI 吞掉了软件,现在,它要吞掉工业了。卸任亚马逊 CEO 五年后,杰夫·贝佐斯没忍住,又给自己找了个班上。当地时间 2026 年 11 月 17 日,加州门洛帕克的 Semafor「硅谷与世界」峰会现场,贝佐斯和物理学家维克·巴贾杰(Vik Bajaj)罕见同台。他现在的最新头衔,是 AI 初创

    来源 腾讯网
  22. 4.3万人点赞“断更抵制AI”:网文平台为何对AI说不

    网文界今年发生了多场“AI斩杀”。2月和5月,番茄进行了针对AI低质内容的专项治理; 起点7月全面禁止AI文,8月一口气处理了上百本AI小说,其中有多部万订作品;10月30日,起点和QQ阅读发布公告,称将进一步打击签约作品滥用AI的行为,取消对作品的福利发放。起点新发布的公告然而,多轮治理后,读者仍然会抱怨榜单上的作品

    来源 腾讯网
向下滚动自动加载更多