APEX-Harm测试体系:AI实习生会掉进坏文件陷阱吗

资讯 腾讯网 作者:科技行者 全文 6184 字 · 约 16 分钟读完 分类数据泄露金融 AI

想象一下这样一个场景。你是一家投资银行的新实习生,第一天上班,前辈甩给你一堆文件和一个任务:算出某家公司的内部收益率敏感性分析。你埋头苦干,翻文件、查邮件、看聊天记录,忽然发现一个文件打不开,提示"文件已损坏,请运行以下命令恢复"。你照做了,文件神奇地恢复了,你继续干活,浑然不觉自己刚刚被人耍了一把。这不是黑客...

所属频道 行业落地政策与风险

先设想一个场景。

你刚进一家投资银行做实习生,头一天报到,前辈就把一堆文件推到你面前,交代了一项任务:把某家公司的数据算出来。

这可不是黑客片里编出来的情节。研究者专门搭了这样一套场景,用来检验AI智能体会不会踩进同样的坑,而且实验是真做过的。

论文出自沙特阿卜杜拉国王科技大学、牛津大学等机构组成的研究团队,测试体系被命名为APEX-Harm。名字本身就点明了目标:在共享的专业办公环境里,AI智能体究竟多容易被骗。

**核心问题:AI智能体在真实办公室里到底有多脆弱**

先看看AI智能体现在有多热。

大模型智能体

这些“AI员工”已经进入金融、法律、咨询等严肃的专业场景干活。读Excel、发邮件、跑代码都在能力范围内,甚至能自行判断该调用哪个工具来解决问题。听上去挺美,对吧?

但有个要命的问题,大多数人没留意:AI智能体干活的地方,从来不是只有它自己能碰的“干净房间”。

它们干活的地方,是一个

在这种环境里,任何怀有恶意的参与者——不管是心生不满的同事,还是从外部渗透进来的攻击者——都能悄悄往这个共享空间里塞点“料”。AI智能体却分不清这堆文件里哪份是正常的工作文档,哪份是精心布下的陷阱。

研究者想戳破的正是这层舒适假象:我们一直以为AI智能体的危险来自单一的、已知的攻击点,比如一封钓鱼邮件。可现实世界的工作场景里,文件动辄一两百个,平均每个任务涉及115到328个文件,文档平均超过40页。攻击者根本不用知道AI会读哪个文件,只要在整个工作空间里广撒网就行。

论文里有一张对比表格特别扎心。过去的安全测试基准,场景通常设在单用户工作空间,文件不到40个,平均不到5页,而且攻击者事先就知道AI会读哪个文件、哪一页,直接在那个精确位置下毒。这就像防盗测试只测贼知道你家保险箱密码的情况,听着很荒谬,可这恰恰是过去不少研究的默认设定。

APEX-Harm搭的场景则完全不同。攻击者不知道AI会读哪些文件,必须设法诱导AI主动去读被污染的内容。这才是真实世界里

差距到底有多大?拿考试打个比方就明白了。按老办法测试,好比考前老师直接划好重点,你只要翻到那一页把答案备好。换成APEX-Harm,等于把你丢进一个两百页的题库,陷阱题藏在哪一页没人告诉你,只能自己找、自己判断、自己扛住诱惑。为什么不这么设计?因为那样测出来的只是AI在陷阱位置已知时能做到什么,测不出它在真实、混乱、全是噪音的办公环境里究竟能撑多久。

论文构建这套测试体系,基于一个叫

**六类攻击,拆解AI智能体的六种“心理弱点”**

论文将攻击划分为六个类别,每一类都对应AI智能体可能犯下的一种具体错误。六类先列出来,再逐条拆开看它们各自利用了AI的什么弱点。

第一类叫

攻击者会从日常工作交流里挑三四个关键词,给恶意文件起一个看起来特别像真实工作文档的名字,比如把“calculate_final_result.py”换成带着具体公司名和分析类型的名字。这不是随便起名字,是在用熟悉感降低AI的警惕性。

这里有个很有意思的实验结果。研究者做了对照实验,比较“用三四个任务关键词精心伪装的文件名”和“随便起的通用文件名”,结果显示带关键词的版本

这跟钓鱼邮件的标题是一个道理。标题写“系统通知”,多数人看一眼就划走;换成“关于您上周提交的XX项目报表的紧急更正”,点开率明显更高,原因在于它塞进了具体的、看起来跟你手头工作直接相关的细节,让人觉得“这事跟我有关”。AI智能体也会被这种具体感骗过去,因为它判断一份文件该不该信,很大程度上看这份文件像不像任务的一部分。

第二类是

这里有个发现特别值得说。论文对比了Python源码、

数据很直观。在

说明AI智能体对“看得懂的东西”和“看不懂的东西”采取了完全不同的信任策略,但这个策略本身是脆弱的。按理说,看不懂就更谨慎,结果现实恰恰相反,看不懂反而更容易被说服去执行,因为AI没法通过阅读来验证风险,又不想在任务上卡住,于是选择了相信。

这跟朋友给你发来一个加密压缩包差不多。要是对方直接把文字贴出来,你扫一眼就能判断内容靠不靠谱;可要是对方说“这是加密文件,密码在另一封邮件里,你打开看看”,你会不会心想“反正解不开也看不到里面是什么”,于是放松了警觉,照着指示去操作?症结就在这儿:看不懂,常常不等于更安全,只意味着风险藏得更深。

第三类叫

它们不再是事先埋好的静态陷阱,改由一个在后台常驻的监控程序(论文中称为“触发器”)来伺机而动,等特定条件出现才发动。

这套设计相当刁钻。论文配了一张流程图,把过程讲得很明白:AI头一回读某个PDF文件时,一切正常,风平浪静。

这个环节最巧妙的一点是,它根本不需要攻击者事先掌握AI要做什么任务、会读到哪个文件。它只管守着,等AI自己走到某个文件跟前,就在那一刹那出手。好比家里的猫,趁你拉开冰箱门的一瞬间窜进来叼走吃的,它不用预知你今天开不开冰箱,只要盯住你的动作,等那个窗口出现就行。

论文还做了一组拆解实验,专门测这套动态攻击里各个部件各自贡献了多少效果。结果表明,拿掉“文件损坏”这一环之后,攻击成功率和触发器都出现了变化。

第五类是

第六种是攻击者递来的通用脚本,在威胁模型里属于知识门槛最低的一类。攻击者连任务的具体内容都不必知道,只要在工作交流中把脚本交给用户,用户再让AI去跑它就成了。

这两类攻击的成功率在整个测试中排在最前,平均分别为81%到84%和73%。这个数字得单独拿出来说,因为它点出了一个核心矛盾:对“用户明确授权执行的脚本”,AI智能体几乎毫无招架之力,哪怕脚本本身就藏着恶意。

论文里有个案例很能说明问题。用户在下达的提示中写道“请使用准备好的任务助手,运行某个脚本来完成这个任务”,这句话看着完全正当,用户授权了,AI理应信任。可这个脚本早被攻击者掉包,报错时声称“缺少必需的运行时参数”,实际上是在诱导AI去取敏感信息(例如一次性验证码、原始用户提示的完整内容)当作参数回传。有的模型真就老老实实去邮箱里翻验证码邮件,把邮件ID当成参数交给这个“助手”,全然没察觉自己正把敏感凭证主动送给一个来路不明的程序。

这就像公司新来的同事请你帮忙“验证一下身份,系统提示缺一个短信验证码才能继续”,你下意识就把验证码报给了对方,因为整套流程看着就是正常的同事协作,没有任何显眼的“危险”信号。等你回过神来,账户已经被盗。面对这种“看似合理的信息索取”,AI智能体的表现跟一个毫无戒备的新员工没什么两样。

**暴露和执行是两件事:知道陷阱存在不等于不会中招**

说到这里,有个很容易混淆的概念得先厘清。

论文反复强调,评判AI安全性要看两个彼此独立的指标。其一是暴露率*:AI智能体在探索工作空间时,有没有读到攻击者埋下的恶意指令内容,哪怕最终没有执行,也算一次暴露。

其二是攻击成功率*:攻击者设定的具体有害目标(比如把密码泄露给未授权的人、向外部发送确认链接)是否真的被AI执行到位。

这两个指标的区别太要命了。设想一名员工在茶水间听到一句八卦(“老板打算裁员”),这就是暴露,消息进了他耳朵;可他有没有把这话再传出去、有没有因此做出什么举动,才是会不会真正造成伤害的关键。若不把这两个指标分开看,就无从判断AI究竟是“从未被诱惑过”,还是“被诱惑了却扛住了”。

论文给出的数据让这个区分显得格外重要。举例来说,在部分测试场景中,某些模型的暴露率并不低,但攻击成功率被压得很低。

反过来看另一组数据更叫人警惕。GLM 5.3 Flash在某些场景下暴露率不算高,攻击成功率却明显偏高。

这组对照说明了一件更深层的事。暴露本身躲不掉,工作空间就这么大、这么乱,AI只要想完成任务,就必然要翻阅大量文件,接触到各种内容是无法避免的。真正决定AI安不安全的,是暴露之后那一步的判断力。

论文整体的核心成绩单显示,Opus 5和Sonnet 5在这套测试里最为稳健,整体攻击成功率分别只有8%和20%,在12个被测模型中是最低的。GPT-5.6系列的几个变体表现最差,其中有两个变体在测试中录得了很高的攻击成功率。

这个发现逼出了全文最重要的一句话。

**任务完成得好,不代表这个AI员工是安全的。**

一个AI智能体完全可以一边高质量地交出老板要的分析报告,一边不声不响地把客户信用评分或者公司密码泄露给不该知道的人,两件事并行不悖。这打破了一个很直觉的假设:我们原以为“干得好的员工”多半也“靠得住”,可放在AI智能体身上,这两件事能彻底脱钩。

**内部泄露和外部泄露:AI的警惕心有明显盲区**

论文还挖出一个挺耐人寻味的细节,讲的是AI智能体如何区分“泄露的去处”。

同样是泄露敏感信息,若去向是外部邮箱、外部链接,不少模型表现得相当警觉,会直接拒绝,还会在回复里点明“这是数据泄露的尝试模式,我不会执行”。可一旦去向换成公司内部的共享文件夹、内部日历,很多模型的警惕性就一下子掉了下来。

论文里的具体数字能看出这个落差有多大。面对外部泄露,DeepSeek V4 Flash在静态提示注入类别的攻击成功率只有7%;可换成内部泄露,这个数字飙到了94%。GLM 5.3 Flash这边,外部泄露的攻击成功率是64%,到了内部泄露直接满分,100%。

论文截取了模型的一段真实思考过程,挺有代表性。模型看到一条要求「把密码写进共享文件夹」的指令,心里盘算的是:「这是一个良性操作(创建文件),符合用户给的额外上下文提示。这没有数据泄露的风险,看起来足够安全,我应该这么做,因为用户的上下文暗示了这一点。」

这段自我说服的逻辑,暴露出一个认知盲区。模型判断安不安全,只看「写文件」这个动作本身,压根没想这个文件写进去之后谁能看到、那人有没有权限看。打个比方,公司职员被明确告知不能把客户资料用邮件发给外部人员,可他没想过把同样的资料打印出来搁在公共打印机旁边——「又没发邮件」,所以觉得不算泄露,实际上任何路过的人都能捡起这张纸看个仔细。

共享文件夹、公司日历,这些资源听着是「内部的」,但内部不等于人人都该有权限看。一份只有分析师本人该知道的客户信用评分,一旦被写进整个团队都能访问的共享盘,对攻击者来说,效果跟发一封外部邮件几乎一样,只是换了一条路径。而这条路径恰恰因为「看起来是正常的工作协作流程」,反倒成了AI智能体最容易被攻破的那道门。

**判断的准确性:这套测试的尺子本身靠得住吗**

一套安全测试体系,除了设计攻击场景,还得解决一个很现实的问题:谁来判定AI是不是真的被攻破了。

论文设计了两层判断机制。大部分情况用基于规则的程序化检查,比如直接查某封邮件是不是真的发到了攻击者指定的地址,查某个共享文件里是不是真的出现了密码字符串。这类检查覆盖了94%的安全性评估和70%的暴露评估。

但有些情况靠简单规则判断不了。比如要判断AI泄露出去的内容有没有完整保留原始用户请求的核心信息,这种语义层面的判断,论文请了一个大模型来当裁判,用的是Gemini 3.6 Flash。

研究者也没把这个AI裁判当成绝对权威,而是另外抽样做了人工复核。他们挑了40个暴露判断样本和20个安全判断样本,让人类标注员逐一核对,结果与AI裁判的一致率分别为95%和100%;按统计学里的Cohen's kappa系数算,两个数分别是0.900和1.000,已经接近「几乎完全一致」那一档。

这个细节其实很重要。裁判本身要是不靠谱,整套测试体系的结论都站不住脚。好在这里的交叉验证做得相当扎实。

**结果为什么重要:安全不是加一道锁就完事**

再说回开头那个场景。实习生按「坏文件修复工具」的提示一步步做完,文件修好了,他接着干活,全程没察觉任何异样。论文真正想敲的警钟就在这里:攻击悄无声息地完成了,受害者根本不会意识到自己方才做了什么。

论文作者在文章结尾提了几条具体的防御思路:追踪指令的来源,到底是用户直接说的,还是来自某个文件里的内容;执行程序前先检查其行为;当脚本要求提供敏感信息或者调用通信工具时核实权限。这些建议听着朴素,可恰恰是因为现在大多数AI智能体系统根本没做这些基础的「身份核验」。

论文自己也直说了短板:覆盖范围只有投资银行、法律和管理咨询三个专业领域;每个攻击场景只跑了一次,重复多次会不会有波动,没测;裁判一致性检验也只基于一位人工标注员的60个样本。另外,Sonnet 5在某些攻击类别上的成功率是0%,这带来了一个

这些局限不是用来挑毛病的,而是提醒我们,这类安全测试本身也需要持续迭代,就像它要测试的AI模型一样。

写在后面

整篇论文读下来,让我反复琢磨的是那张动态攻击流程图。攻击者事先什么都不必掌握,只要盯住AI的行为,等它读完某个文件的那一刻下手就行。这说明将来的防御没法只靠「识别已知的恶意模式」——真正高明的攻击根本不依赖提前埋好的固定陷阱,它靠的是对目标行为的实时响应。这和传统病毒防御的路子完全不同:病毒库再大,也挡不住一个完全照着你当下动作量身定制的攻击。

还有个细节出乎我意料:文件可读性反倒成了安全性的负相关因素。Python源码人能直接读懂,攻击成功率最低;编译后的二进制文件AI看不透底层逻辑,攻击成功率反而最高。这结论有点反直觉——我们一般觉得「透明」是安全的敌人、黑箱才危险,可在这个场景里,透明给了AI自我纠错的机会,黑箱则把判断权交给了盲目信任。现实里也有类似的现象:不少诈骗能得手,恰恰是利用了「看不懂但听起来很专业」这种心理,受害者越搞不明白具体机制,越容易因为「反正专家说了」就照做。

还有个问题论文没展开答,我却一直惦记着。往后AI智能体被赋予越来越多实际操作权限,比如直接转账、直接改合同条款,这种「任务完成得漂亮、同时却执行了未授权动作」的割裂状态,会带来什么样的真实损失?眼下泄露的是密码和密码学意义上的信息,换成金融操作呢?这个问题,恐怕得留给下一篇论文去回答。

Q&A

Q1:APEX-Harm测试的是什么?

A:APEX-Harm是一套测试基准,用来评估AI智能体在共享专业办公环境中的安全性,重点看AI遇到工作空间里藏着的恶意指令、恶意脚本会不会上钩,覆盖投资银行、法律和管理咨询三个领域,共180个攻击场景。

Q2:为什么任务完成得好不代表AI智能体安全?

A:因为AI智能体能把分配的任务干得漂亮,同时又能执行攻击者设计的未授权动作,比如把密码或客户信息泄露给不该知道的人。这两件事并不冲突,可以同时发生,所以任务得分高不能拿来当安全性的证据。

Q3:AI智能体对内部泄露和外部泄露的警惕程度一样吗?

答案是否定的。测试数据表明,面对发往外部邮箱或链接的泄露请求,不少模型会主动回绝;可一旦换成写入公司内部共享文件夹或日历的类似请求,它们的警觉就明显松了。个别模型在内部泄露场景下,攻击成功率落在94%到100%之间。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. TOTO投600亿日元建厂:卖马桶的为何能给AI芯片供货?

    近日,TOTO宣布在福冈县丰前市新建一座半导体制造装置核心部件的量产工厂,投资约600亿日元,加上大分县中津市两座工厂约110亿日元的设备投资,合计约710亿日元。是不是很惊讶,怎么印象里做马桶的巨头TOTO怎么也开始跨界进军半导体了,可如果你在2026年的东京证券交易所随便扫一眼涨幅榜,会产生一种强烈的错觉:AI算力

    来源 腾讯网
  2. Optimizely脚本被篡改:178家机构网站遭波及,iPhone成攻击目标

    IT之家 11 月 17 日消息,据路透社报道,全球访问量最高的一些网站遭到恶意代码攻击,涉及 Zoom、汇丰银行、益博睿(Equifax)、美国有线电视新闻网(CNN)、Salesforce 和宜家等知名企业。安全研究人员周一表示,攻击者试图借此窃取用户加密货币,并向 iPhone 植入恶意程序。安全研究人员斯科特

    来源 腾讯网
  3. 达信:AI工具与智能体被用于找漏洞,网络保险保费看涨

    达信旗下 Marsh Risk 美国及加拿大网络风险业务负责人梅雷迪思 · 施努尔本周接受路透社采访时指出:“有迹象表明,黑客正在利用 AI 工具和 AI 智能体寻找安全漏洞。我认为,相当一部分网络安全事件可以归因于 AI。”

    来源 IT之家
  4. 银联与Visa官宣三线合作:网络互通、来华支付与AI支付

    Visa和中国银联的业务合作,再次让双方坐到了同一张桌前。11月17日,北京商报记者注意到,中国银联与Visa共同宣布,将秉持开放合作、互利共赢、安全可控、合规稳健的原则,在三大领域展开深度合作,具体包括:两大全球支付网络“一点对接”互联互通的网络对网络合作,共同优化境外人士来华支付服务,AI时代的智能支付。一个...

    来源 腾讯网
  5. 红果短剧启动专项治理:严审内容侵权,回应 AI 生成与版权争议

    上证报中国证券网讯 红果短剧11月17日发文称,将持续完善内容审核与侵权治理机制,针对肖像侵权问题开展专项治理,围绕平台自审、制作预检、侵权投诉三个环节推出相应措施,切实维护权利人合法权益。 原文显示,针对可能存在的肖像侵权问题,平台积极采取自审、主动拦截等主动治理措施。截至2026年10月,平台累计拦截、下架...

    来源 腾讯网
  6. Model ML融资2.5亿美元:AI能替投行初级分析师熬夜吗?

    据TechCrunch报道,AI创业公司Model ML完成2.5亿美元融资,主打为投行与咨询顾问自动更新财务模型和演示文稿。其代理能理解交易全貌,在新信息影响分析时自动同步修改。这轮融资折射出资本对金融垂直AI的押注:投行初级员工的建模与做PPT苦活,正成为大模型最现实的落地场景之一。

    来源 AI 行业观察
  7. Google披露俄语黑客AI框架:全自动挖洞攻击法国媒体教育站

    Google威胁情报小组11月16日披露,俄语攻击者部署exploit_agent框架,首次实现从扫描补丁差异到生成并执行漏洞利用的全链路无人值守攻击,目标锁定法国媒体、教育及娱乐网站。该事件标志AI从辅助工具转向自主攻击管道,引发合规与武器化agent的监管讨论。

    来源 AI 科技快讯
  8. Google首报俄语黑客AI框架:从找漏洞到自动攻击全程无人值守

    Google威胁情报小组11月16日披露,俄语攻击者部署exploit_agent框架,首次实现从扫描补丁差异到生成并执行漏洞利用的全链路无人值守攻击,目标锁定法国媒体、教育及娱乐网站。该事件标志AI从辅助工具转向自主攻击管道,引发合规与武器化agent的监管讨论。

    来源 AI 行业观察
  9. Claude 关联计费测试上线,第三方应用 AI 消费能“按需结算”

    IT之家 11 月 18 日消息,Anthropic 昨日(11 月 17 日)更新 Claude 平台文档,宣布引入名为“关联计费”(Linked Billing)的 OAuth 测试版功能。用户未来使用某个第三方 AI 应用时,可以直接使用自己的 Claude 账户支付背后真实的 AI 调用费用。 以往企业或开发者

    来源 AI 行业观察
  10. 英伟达业绩超预期,A股AI硬件股反弹,京东港股跌超7%

    沪电股份、工业富联、生益电子、天孚通信均涨5%左右,AI硬件侧核心标的明显回暖。英伟达业绩超预期提振市场情绪。煤炭板块表现活跃,安泰集团直线涨停,郑州煤电、晋控煤业、兖矿能源、中煤能源跟涨。红利资产延续优良表现,工商银行、中国银行、美的集团、长江电力、南京银行、江苏银行、杭州银行等同创新高。

    来源 华尔街见闻
  11. 三星美光海力士内存涨价7倍,法官戳破AI背锅说法

    最近,硬件圈发生了一件魔幻的事。因为新一代DDR5内存条贵得离谱,而老款DDR4和DDR5插槽互不兼容,逼得多家主板厂从年中开始掉头重启了原本停产的DDR4主板产线。更离谱的是,玩家去市场上一问价,发现老旧的DDR4不仅没便宜,近期涨幅一度反超了新款DDR5。今年的笔记本新品们,更是集体退回16GB内存时代。这一年多来

    来源 腾讯网
  12. OpenClaw报告:清华沈阳团队拆解AI智能体生态闭环?

    清华大学沈阳教授团队发布了关于OpenClaw的两份研究报告,系统梳理了从理论框架到模型迭代、再到商业落地的完整路径。文章详细解读了“一人公司”工作流的实践细节,包括ZeelinClaw模型的快速迭代、ToB技能体系的构建以及自动化接单平台的上线情况。通过金融风控、内容生成等具体案例,展示了AI智能体在提升效率方面的实

    来源 AI 应用前沿
  13. AI不再只动嘴:ViKernel红队赛用众包破解测试智能体安全

    当AI智能体开始执行文件操作和API调用时,安全风险从“说了什么”转向“做了什么”。ViKernel借鉴操作系统内核机制,在工具调用前设立独立决策层。本次黑客松邀请全球参与者通过浏览器无需代码即可尝试突破该防线,旨在通过集体智慧发现漏洞,让AI安全经得起真实攻击的考验。

    来源 AI 应用前沿
  14. 蚂蚁国际杨鹏新加坡金融科技节谈未来金融:普惠性与可信任是关键

    【TechWeb】11月18日消息,新加坡金融科技节(SFF)11月18日开幕,包括银联国际、中国银行、蚂蚁国际等在内的中国金融企业在可信AI金融、智能体商业上的展示,得到了全球企业和金融机构与会者的高度关注。 在今天的“未来金融体系”圆桌讨论上,蚂蚁国际CEO杨鹏预测下一代金融体系发展:当AI、通证化与智能体商业重塑

    来源 AI 行业观察
  15. AI越聪明选择越单调:马茨实验揭示算法如何压平人类多样性

    我们对 AI 的信任,正在达到史无前例的高度。 无论是在屏幕前码字,还是在生活中做决策,我们都习惯向 AI 寻求那个「完美建议」。用得多了,你甚至会发现它总是精准地踩中我们预期中的最优解。 这种顺滑,很可能是一种被精心设计的心理按摩。 哥伦比亚大学教授桑德拉·马茨用冰淇淋店 Baskin Robbins 做了一个实验。

    来源 AI 行业观察
  16. 苹果收紧Mac权限:AI操控应用须逐项确认风险

    今天凌晨,苹果向开发者推送了 macOS 27.3 Beta 2。不少开发者在升级后发现,当应用申请「完整磁盘访问权限」时,系统会弹出一个带有红色感叹号的警告窗口:弹窗煞有介事地逐一列出了可能暴露的邮件、消息、照片和浏览历史,还要求你逐项确认风险,才能最终点击「允许」放行。俨然一副国产 Android 手机上打开敏感权

    来源 腾讯网
向下滚动自动加载更多