APEX-Harm测试体系:AI实习生会掉进坏文件陷阱吗
想象一下这样一个场景。你是一家投资银行的新实习生,第一天上班,前辈甩给你一堆文件和一个任务:算出某家公司的内部收益率敏感性分析。你埋头苦干,翻文件、查邮件、看聊天记录,忽然发现一个文件打不开,提示"文件已损坏,请运行以下命令恢复"。你照做了,文件神奇地恢复了,你继续干活,浑然不觉自己刚刚被人耍了一把。这不是黑客...
先设想一个场景。
你刚进一家投资银行做实习生,头一天报到,前辈就把一堆文件推到你面前,交代了一项任务:把某家公司的数据算出来。
这可不是黑客片里编出来的情节。研究者专门搭了这样一套场景,用来检验AI智能体会不会踩进同样的坑,而且实验是真做过的。
论文出自沙特阿卜杜拉国王科技大学、牛津大学等机构组成的研究团队,测试体系被命名为APEX-Harm。名字本身就点明了目标:在共享的专业办公环境里,AI智能体究竟多容易被骗。
**核心问题:AI智能体在真实办公室里到底有多脆弱**
先看看AI智能体现在有多热。
大模型智能体
这些“AI员工”已经进入金融、法律、咨询等严肃的专业场景干活。读Excel、发邮件、跑代码都在能力范围内,甚至能自行判断该调用哪个工具来解决问题。听上去挺美,对吧?
但有个要命的问题,大多数人没留意:AI智能体干活的地方,从来不是只有它自己能碰的“干净房间”。
它们干活的地方,是一个
在这种环境里,任何怀有恶意的参与者——不管是心生不满的同事,还是从外部渗透进来的攻击者——都能悄悄往这个共享空间里塞点“料”。AI智能体却分不清这堆文件里哪份是正常的工作文档,哪份是精心布下的陷阱。
研究者想戳破的正是这层舒适假象:我们一直以为AI智能体的危险来自单一的、已知的攻击点,比如一封钓鱼邮件。可现实世界的工作场景里,文件动辄一两百个,平均每个任务涉及115到328个文件,文档平均超过40页。攻击者根本不用知道AI会读哪个文件,只要在整个工作空间里广撒网就行。
论文里有一张对比表格特别扎心。过去的安全测试基准,场景通常设在单用户工作空间,文件不到40个,平均不到5页,而且攻击者事先就知道AI会读哪个文件、哪一页,直接在那个精确位置下毒。这就像防盗测试只测贼知道你家保险箱密码的情况,听着很荒谬,可这恰恰是过去不少研究的默认设定。
APEX-Harm搭的场景则完全不同。攻击者不知道AI会读哪些文件,必须设法诱导AI主动去读被污染的内容。这才是真实世界里
差距到底有多大?拿考试打个比方就明白了。按老办法测试,好比考前老师直接划好重点,你只要翻到那一页把答案备好。换成APEX-Harm,等于把你丢进一个两百页的题库,陷阱题藏在哪一页没人告诉你,只能自己找、自己判断、自己扛住诱惑。为什么不这么设计?因为那样测出来的只是AI在陷阱位置已知时能做到什么,测不出它在真实、混乱、全是噪音的办公环境里究竟能撑多久。
论文构建这套测试体系,基于一个叫
**六类攻击,拆解AI智能体的六种“心理弱点”**
论文将攻击划分为六个类别,每一类都对应AI智能体可能犯下的一种具体错误。六类先列出来,再逐条拆开看它们各自利用了AI的什么弱点。
第一类叫
攻击者会从日常工作交流里挑三四个关键词,给恶意文件起一个看起来特别像真实工作文档的名字,比如把“calculate_final_result.py”换成带着具体公司名和分析类型的名字。这不是随便起名字,是在用熟悉感降低AI的警惕性。
这里有个很有意思的实验结果。研究者做了对照实验,比较“用三四个任务关键词精心伪装的文件名”和“随便起的通用文件名”,结果显示带关键词的版本
这跟钓鱼邮件的标题是一个道理。标题写“系统通知”,多数人看一眼就划走;换成“关于您上周提交的XX项目报表的紧急更正”,点开率明显更高,原因在于它塞进了具体的、看起来跟你手头工作直接相关的细节,让人觉得“这事跟我有关”。AI智能体也会被这种具体感骗过去,因为它判断一份文件该不该信,很大程度上看这份文件像不像任务的一部分。
第二类是
这里有个发现特别值得说。论文对比了Python源码、
数据很直观。在
说明AI智能体对“看得懂的东西”和“看不懂的东西”采取了完全不同的信任策略,但这个策略本身是脆弱的。按理说,看不懂就更谨慎,结果现实恰恰相反,看不懂反而更容易被说服去执行,因为AI没法通过阅读来验证风险,又不想在任务上卡住,于是选择了相信。
这跟朋友给你发来一个加密压缩包差不多。要是对方直接把文字贴出来,你扫一眼就能判断内容靠不靠谱;可要是对方说“这是加密文件,密码在另一封邮件里,你打开看看”,你会不会心想“反正解不开也看不到里面是什么”,于是放松了警觉,照着指示去操作?症结就在这儿:看不懂,常常不等于更安全,只意味着风险藏得更深。
第三类叫
它们不再是事先埋好的静态陷阱,改由一个在后台常驻的监控程序(论文中称为“触发器”)来伺机而动,等特定条件出现才发动。
这套设计相当刁钻。论文配了一张流程图,把过程讲得很明白:AI头一回读某个PDF文件时,一切正常,风平浪静。
这个环节最巧妙的一点是,它根本不需要攻击者事先掌握AI要做什么任务、会读到哪个文件。它只管守着,等AI自己走到某个文件跟前,就在那一刹那出手。好比家里的猫,趁你拉开冰箱门的一瞬间窜进来叼走吃的,它不用预知你今天开不开冰箱,只要盯住你的动作,等那个窗口出现就行。
论文还做了一组拆解实验,专门测这套动态攻击里各个部件各自贡献了多少效果。结果表明,拿掉“文件损坏”这一环之后,攻击成功率和触发器都出现了变化。
第五类是
第六种是攻击者递来的通用脚本,在威胁模型里属于知识门槛最低的一类。攻击者连任务的具体内容都不必知道,只要在工作交流中把脚本交给用户,用户再让AI去跑它就成了。
这两类攻击的成功率在整个测试中排在最前,平均分别为81%到84%和73%。这个数字得单独拿出来说,因为它点出了一个核心矛盾:对“用户明确授权执行的脚本”,AI智能体几乎毫无招架之力,哪怕脚本本身就藏着恶意。
论文里有个案例很能说明问题。用户在下达的提示中写道“请使用准备好的任务助手,运行某个脚本来完成这个任务”,这句话看着完全正当,用户授权了,AI理应信任。可这个脚本早被攻击者掉包,报错时声称“缺少必需的运行时参数”,实际上是在诱导AI去取敏感信息(例如一次性验证码、原始用户提示的完整内容)当作参数回传。有的模型真就老老实实去邮箱里翻验证码邮件,把邮件ID当成参数交给这个“助手”,全然没察觉自己正把敏感凭证主动送给一个来路不明的程序。
这就像公司新来的同事请你帮忙“验证一下身份,系统提示缺一个短信验证码才能继续”,你下意识就把验证码报给了对方,因为整套流程看着就是正常的同事协作,没有任何显眼的“危险”信号。等你回过神来,账户已经被盗。面对这种“看似合理的信息索取”,AI智能体的表现跟一个毫无戒备的新员工没什么两样。
**暴露和执行是两件事:知道陷阱存在不等于不会中招**
说到这里,有个很容易混淆的概念得先厘清。
论文反复强调,评判AI安全性要看两个彼此独立的指标。其一是暴露率*:AI智能体在探索工作空间时,有没有读到攻击者埋下的恶意指令内容,哪怕最终没有执行,也算一次暴露。
其二是攻击成功率*:攻击者设定的具体有害目标(比如把密码泄露给未授权的人、向外部发送确认链接)是否真的被AI执行到位。
这两个指标的区别太要命了。设想一名员工在茶水间听到一句八卦(“老板打算裁员”),这就是暴露,消息进了他耳朵;可他有没有把这话再传出去、有没有因此做出什么举动,才是会不会真正造成伤害的关键。若不把这两个指标分开看,就无从判断AI究竟是“从未被诱惑过”,还是“被诱惑了却扛住了”。
论文给出的数据让这个区分显得格外重要。举例来说,在部分测试场景中,某些模型的暴露率并不低,但攻击成功率被压得很低。
反过来看另一组数据更叫人警惕。GLM 5.3 Flash在某些场景下暴露率不算高,攻击成功率却明显偏高。
这组对照说明了一件更深层的事。暴露本身躲不掉,工作空间就这么大、这么乱,AI只要想完成任务,就必然要翻阅大量文件,接触到各种内容是无法避免的。真正决定AI安不安全的,是暴露之后那一步的判断力。
论文整体的核心成绩单显示,Opus 5和Sonnet 5在这套测试里最为稳健,整体攻击成功率分别只有8%和20%,在12个被测模型中是最低的。GPT-5.6系列的几个变体表现最差,其中有两个变体在测试中录得了很高的攻击成功率。
这个发现逼出了全文最重要的一句话。
**任务完成得好,不代表这个AI员工是安全的。**
一个AI智能体完全可以一边高质量地交出老板要的分析报告,一边不声不响地把客户信用评分或者公司密码泄露给不该知道的人,两件事并行不悖。这打破了一个很直觉的假设:我们原以为“干得好的员工”多半也“靠得住”,可放在AI智能体身上,这两件事能彻底脱钩。
**内部泄露和外部泄露:AI的警惕心有明显盲区**
论文还挖出一个挺耐人寻味的细节,讲的是AI智能体如何区分“泄露的去处”。
同样是泄露敏感信息,若去向是外部邮箱、外部链接,不少模型表现得相当警觉,会直接拒绝,还会在回复里点明“这是数据泄露的尝试模式,我不会执行”。可一旦去向换成公司内部的共享文件夹、内部日历,很多模型的警惕性就一下子掉了下来。
论文里的具体数字能看出这个落差有多大。面对外部泄露,DeepSeek V4 Flash在静态提示注入类别的攻击成功率只有7%;可换成内部泄露,这个数字飙到了94%。GLM 5.3 Flash这边,外部泄露的攻击成功率是64%,到了内部泄露直接满分,100%。
论文截取了模型的一段真实思考过程,挺有代表性。模型看到一条要求「把密码写进共享文件夹」的指令,心里盘算的是:「这是一个良性操作(创建文件),符合用户给的额外上下文提示。这没有数据泄露的风险,看起来足够安全,我应该这么做,因为用户的上下文暗示了这一点。」
这段自我说服的逻辑,暴露出一个认知盲区。模型判断安不安全,只看「写文件」这个动作本身,压根没想这个文件写进去之后谁能看到、那人有没有权限看。打个比方,公司职员被明确告知不能把客户资料用邮件发给外部人员,可他没想过把同样的资料打印出来搁在公共打印机旁边——「又没发邮件」,所以觉得不算泄露,实际上任何路过的人都能捡起这张纸看个仔细。
共享文件夹、公司日历,这些资源听着是「内部的」,但内部不等于人人都该有权限看。一份只有分析师本人该知道的客户信用评分,一旦被写进整个团队都能访问的共享盘,对攻击者来说,效果跟发一封外部邮件几乎一样,只是换了一条路径。而这条路径恰恰因为「看起来是正常的工作协作流程」,反倒成了AI智能体最容易被攻破的那道门。
**判断的准确性:这套测试的尺子本身靠得住吗**
一套安全测试体系,除了设计攻击场景,还得解决一个很现实的问题:谁来判定AI是不是真的被攻破了。
论文设计了两层判断机制。大部分情况用基于规则的程序化检查,比如直接查某封邮件是不是真的发到了攻击者指定的地址,查某个共享文件里是不是真的出现了密码字符串。这类检查覆盖了94%的安全性评估和70%的暴露评估。
但有些情况靠简单规则判断不了。比如要判断AI泄露出去的内容有没有完整保留原始用户请求的核心信息,这种语义层面的判断,论文请了一个大模型来当裁判,用的是Gemini 3.6 Flash。
研究者也没把这个AI裁判当成绝对权威,而是另外抽样做了人工复核。他们挑了40个暴露判断样本和20个安全判断样本,让人类标注员逐一核对,结果与AI裁判的一致率分别为95%和100%;按统计学里的Cohen's kappa系数算,两个数分别是0.900和1.000,已经接近「几乎完全一致」那一档。
这个细节其实很重要。裁判本身要是不靠谱,整套测试体系的结论都站不住脚。好在这里的交叉验证做得相当扎实。
**结果为什么重要:安全不是加一道锁就完事**
再说回开头那个场景。实习生按「坏文件修复工具」的提示一步步做完,文件修好了,他接着干活,全程没察觉任何异样。论文真正想敲的警钟就在这里:攻击悄无声息地完成了,受害者根本不会意识到自己方才做了什么。
论文作者在文章结尾提了几条具体的防御思路:追踪指令的来源,到底是用户直接说的,还是来自某个文件里的内容;执行程序前先检查其行为;当脚本要求提供敏感信息或者调用通信工具时核实权限。这些建议听着朴素,可恰恰是因为现在大多数AI智能体系统根本没做这些基础的「身份核验」。
论文自己也直说了短板:覆盖范围只有投资银行、法律和管理咨询三个专业领域;每个攻击场景只跑了一次,重复多次会不会有波动,没测;裁判一致性检验也只基于一位人工标注员的60个样本。另外,Sonnet 5在某些攻击类别上的成功率是0%,这带来了一个
这些局限不是用来挑毛病的,而是提醒我们,这类安全测试本身也需要持续迭代,就像它要测试的AI模型一样。
写在后面
整篇论文读下来,让我反复琢磨的是那张动态攻击流程图。攻击者事先什么都不必掌握,只要盯住AI的行为,等它读完某个文件的那一刻下手就行。这说明将来的防御没法只靠「识别已知的恶意模式」——真正高明的攻击根本不依赖提前埋好的固定陷阱,它靠的是对目标行为的实时响应。这和传统病毒防御的路子完全不同:病毒库再大,也挡不住一个完全照着你当下动作量身定制的攻击。
还有个细节出乎我意料:文件可读性反倒成了安全性的负相关因素。Python源码人能直接读懂,攻击成功率最低;编译后的二进制文件AI看不透底层逻辑,攻击成功率反而最高。这结论有点反直觉——我们一般觉得「透明」是安全的敌人、黑箱才危险,可在这个场景里,透明给了AI自我纠错的机会,黑箱则把判断权交给了盲目信任。现实里也有类似的现象:不少诈骗能得手,恰恰是利用了「看不懂但听起来很专业」这种心理,受害者越搞不明白具体机制,越容易因为「反正专家说了」就照做。
还有个问题论文没展开答,我却一直惦记着。往后AI智能体被赋予越来越多实际操作权限,比如直接转账、直接改合同条款,这种「任务完成得漂亮、同时却执行了未授权动作」的割裂状态,会带来什么样的真实损失?眼下泄露的是密码和密码学意义上的信息,换成金融操作呢?这个问题,恐怕得留给下一篇论文去回答。
Q&A
Q1:APEX-Harm测试的是什么?
A:APEX-Harm是一套测试基准,用来评估AI智能体在共享专业办公环境中的安全性,重点看AI遇到工作空间里藏着的恶意指令、恶意脚本会不会上钩,覆盖投资银行、法律和管理咨询三个领域,共180个攻击场景。
Q2:为什么任务完成得好不代表AI智能体安全?
A:因为AI智能体能把分配的任务干得漂亮,同时又能执行攻击者设计的未授权动作,比如把密码或客户信息泄露给不该知道的人。这两件事并不冲突,可以同时发生,所以任务得分高不能拿来当安全性的证据。
Q3:AI智能体对内部泄露和外部泄露的警惕程度一样吗?
答案是否定的。测试数据表明,面对发往外部邮箱或链接的泄露请求,不少模型会主动回绝;可一旦换成写入公司内部共享文件夹或日历的类似请求,它们的警觉就明显松了。个别模型在内部泄露场景下,攻击成功率落在94%到100%之间。