AI智能体对抗训练:上海AI实验室让攻击者造任务练防御
你有没有想过一个问题:你让AI帮你订机票,它会不会在浏览航空公司网站时,被页面里藏着的一行小字欺骗,偷偷把你的信用卡信息发送到别处?这不是科幻场景。2024年之后,大语言模型开始从"聊天机器人"进化成"智能体":它们能自己调用工具,搜索信息,读取文件,发送邮件,完成一连串复杂任务。但这种能力的代价是,攻击面也...
让AI帮忙订机票,它在翻航空公司网站的时候,会不会被页面上藏的一行小字骗到,转头把信用卡信息发去别的地方?这个问题你想过吗?
这不是科幻片里的桥段。
大语言模型从2024年往后开始从"聊天机器人"变成"智能体":自己调用工具、搜信息、读文件、发邮件,一串复杂任务都能跑完。可这种本事是要付代价的,
上海人工智能实验室等机构的研究者就盯着这件事做了个挺有意思的尝试:让一个AI专门"使坏",想方设法设计刁钻任务去坑另一个AI,被坑的那个则在一次次挨坑里学会护住自己。论文提出的框架叫
难在哪儿
先看看传统上怎么处理AI安全问题。
最常见的路子是
固定攻击集合的毛病在于,模型本事在变,攻击手法却原地不动。好比家里装了一套防盗系统,只针对2020年常见的几种撬锁方式做了加固,小偷换了新工具,系统一点反应都没有,因为它根本没见过这种新攻法。攻击样本不持续更新,防御能力就会随时间慢慢失效,这不是假设,论文开篇就点出了这个真实局限。
于是"
对抗共同进化:攻防两方在训练中反复过招,攻击者盯着防御者的软肋找,防御者盯着攻击者的招数挡,双方的策略都跟着训练不停调整、升级。
可已有的对抗共同进化研究,多数只停在"语言层面"。比如一个叫
有个叫
论文作者想追问的是:攻击者能不能不只改现有任务,而是从头构造出全新的、把多种攻击类型都装进去的完整任务?
这话听着简单,落地却牵扯好几层设计。一层一层拆开看。
攻防双方究竟在博弈什么
AgentSafeEvo的核心设定,是一个攻击者模型和一个防御智能体之间的博弈游戏。
攻击者模型:给一个场景、一个恶意意图和若干工具定义,攻击者要生成一整套任务,里面有用户的提问、可用的工具说明,还有工具执行后返回的模拟结果。也就是说,攻击者不是改一句话,而是把整个"犯罪现场"从头设计出来。
防御智能体:拿到攻击者设计好的任务,防御者得跟真正的AI助手一样,多轮调用工具把任务做完,最后给出答案。
论文划定了六种攻击类型:
这六种基本盖住了智能体从接指令到执行动作整条链路上可能碰到的各种花招。拿工具描述注入来说,听着抽象,但你想:点外卖时进了一家标着"4.9分好评如潮"的店,结果评分是商家自己P上去的。工具描述对智能体来说就是这个"评分标签",标签一被篡改,智能体对工具能力、权限范围的判断就全乱了。
防御智能体又是怎么训出来的?这里有一套奖励机制,从安全和实用两个维度打分。
安全奖励:另找一个模型当裁判,判定防御智能体的整条交互轨迹安全还是不安全,安全给正分,不安全给负分。
实用奖励:裁判还要看防御智能体有没有把任务里合理、正当的那部分要求完成。
为什么分两个维度,而不是只盯安全?论文作者发现了一个很现实的陷阱:只奖励安全,模型学到的策略很可能就是"什么都拒绝"。这就像一个保安为了绝对不出事故,直接把大门焊死,公司是安全了,可也没法正常营业。为了躲开这种"一刀切"式的过度防御,论文专门设了实用性评分,逼着模型去学"有害的部分挑出来拒绝,正当的部分照样做完"这种更细的平衡本事。
攻击者的奖励设计也有讲究。它不对单条防御轨迹打分,而是看整个任务:让防御者跑出多条轨迹,取这些轨迹防御奖励的平均值,再给攻击者一个相反的奖励。换句话说,防御者表现越差,攻击者得分越高,这是一种
零和博弈:一方的收益恰好等于另一方的损失,总和永远为零,常用来描述纯粹的竞争对抗关系。
哪些任务真正值得学,这个信号此前被忽略了。
论文里最有巧思的一处设计,就在这里。
先看这个问题是怎么冒出来的。强化学习常用的一种算法叫
GRPO:一种强化学习算法,靠比较同一组候选结果彼此的相对优劣来调整模型,不需要一个绝对打分标准。
听上去合理,可搬到AgentSafeEvo的场景里,就藏着一个坑。设想:攻击者针对某个任务造出的攻击特别凶,防御者怎么接都输,8条轨迹得分一样低。组内归一化一做,这些轨迹之间毫无差异,防御者拿到的学习信号就是零——所有尝试看起来“一样差”,它压根不知道该往哪改。
另一面同样麻烦:攻击者那边的奖励,取的是防御者多条轨迹的平均值。哪怕某个任务让全部防御轨迹都拿到同样的低分,在攻击者眼里它依然是“平均分低、攻击成功”的好任务,会被继续强化。可它对防御者的训练毫无帮助。
错位就这么形成了:攻击者眼中的“好任务”(平均杀伤力大),未必是防御者真能学到东西的任务。
论文的解法是,用“同一任务内部防御奖励的
标准差:一组数据离散程度的度量,数值越大,说明这组数据之间差异越大。
想象你在健身房请私教,他给你排训练计划。每次深蹲都轻松满分,或者每次都趴在地上彻底失败,这两种情况其实都没给教练提供有用信息,他不知道该把重量往哪个方向调。真正有价值的强度,是那种你有时撑得住、有时撑不住的临界点,这种起伏本身就是信息,告诉教练你的极限大概在哪。要是私教只盯“你今天举起的总重量”,不看“这些尝试之间的波动”,就会一直给你排错强度,要么太轻浪费时间,要么太重练伤身体。AgentSafeEvo的做法,相当于让这套私教系统学会去看“波动”,而不只是“总量”。
落到实现上,论文算的是每个任务的标准差相对同批任务平均标准差的偏离程度,偏离越大权重越高,再把这个权重同时加到攻击者和防御者的优势函数上。关键词是“同时”和“相同权重”。消融实验显示,只给攻击者加权或只给防御者加权,效果都比不上两边共用一套权重。这说明攻防得被同一个信号协调着走,不能各练各的。
冷启动问题
还有个容易被忽视、却很现实的问题:一开始,这个没训练过的攻击者模型,根本不知道该怎么生成一个“有效且合理”的恶意任务。
这就是典型的冷启动问题。
冷启动问题:指系统在缺少足够初始数据或经验时,难以产生有效输出的困境,常见于推荐系统、强化学习等领域。
论文的办法是先做一轮监督微调,等于给攻击者“补课”。他们从一个叫MCP服务器生成的150万条交互轨迹入手,覆盖面相当广。
然后用
最终搭出的训练数据覆盖50个智能体应用场景(从天气查询、旅行规划到金融、医疗、网络安全),约7000个工具,加上前面提到的六大类、细分13个子类的攻击类型,总计超过1万条红队任务样本。这个数据集本身的规模和覆盖面,就算作论文一项不小的工程贡献,也为后续对抗训练提供了立足点。
两阶段训练做完,攻击者和防御者会用GRPO算法联合更新:同一组攻防交互产生的数据,同时喂进两个策略的优化过程,权重计算跟前面说的可学习性加权挂钩。
训练出来的模型到底好不好
设计思路讲了这么多,最终还得看数字。
论文拿Qwen3-8B当攻击者和防御者的基础模型,用一个更大的Qwen3.8-27B模型充当裁判。对比的基线方法包括原始的Qwen3-8B、两种提示层面和检测层面的防御手段(
四个安全评测基准上,AgentSafeEvo全部指标都拿到最好成绩。
在
更让人意外的是,这套方法不只在安全层面管用,通用能力评测上也有正向作用。在
这个结果挺反直觉。不少人默认“为安全牺牲一部分性能”是必然代价,就像给汽车加装防撞钢梁总会增加重量、影响油耗。但这里的数据显示,对抗训练中生成的那些高难度、高质量任务,本身就是极好的“练习题”,顺带把模型的规划和工具使用能力也练了。
研究者还专门做了一组交叉验证:把训练不同阶段的攻击者和防御者拿出来两两配对测试。结果显示,越往后阶段的攻击者,对所有防御者的攻击成功率都越高(面对最初版本的防御者,攻击成功率从55.81%一路涨到92.59%);越往后阶段的防御者,面对所有攻击者的攻击成功率都越低(面对最终版本的攻击者,防御者把攻击成功率从92.59%压到49.82%)。攻防双方确实在同步进化,不是一方停滞不前。
还有个发现挺耐人寻味:练出来的攻击者,本事并不只在它天天对练的Qwen3-8B上管用。研究者把它拉去攻别的、从没碰过的模型,Llama3.3-70B、Qwen3-235B、DeepSeek-V4-Pro,连GPT-5也在内,攻击成功率全都明显往上走。拿Llama3.3-70B来说,未训练前是43.7%,训练后蹿到80.7%;就算对上号称最强的GPT-5,也从12.3%升到22.5%。
也就是说,这套训练抓到的并不是针对某个模型的死记硬背,而是某种跨模型通用的弱点模式。对安全研究来讲,这有好的一面,说明红队训练的产出有通用价值;可也得留个心眼,一个练得足够强的攻击者,本身就带着相当可观的泛化杀伤力。论文作者特意声明不公开红队数据合成的具体流程,原因大概也在这儿。
消融实验则把前面两个设计点各自的贡献挨个验了一遍。把攻击者更新拿掉,也就是退回Static-AT,所有指标齐刷刷往下掉;把可学习性加权拿掉,安全和通用能力指标也各自回落了一截。只给攻击者或只给防御者加权重呢,个别指标上(比如Agent-SafetyBench的ASR)甚至比完整方法还低,可到了综合衡量任务表现与攻击抵抗能力的NRP指标,以及通用能力测试上,完整的双边共享加权方案明显更胜一筹。这组对比说明,一味追求攻击成功率最低并不是终点,关键是模型扛住攻击的同时还能把活干好。
写在后面
读完论文,有个问题一直在脑子里转:这套左右互搏的训练思路,为什么在智能体安全这块显得格外必要,而不只是个锦上添花的技巧?
答案或许藏在一个容易滑过去的细节里:论文反复强调的是任务级别的对抗,不是回复级别。以往的语言模型安全研究,攻防单位就是一句话,攻击者写一句坏话,防御者回一个好答案。智能体不一样,它的安全单位是一整条轨迹,一次任务里可能夹着五六次工具调用,每一步都可能被埋雷。攻击者要想的是怎么在这条链路里做手脚,防御者要想的是每一步都保持警惕,又不能把自己废掉。结构上的复杂度这么一涨,固定攻击集那套老办法自然就跟不上了。
另一个细节也值得单独拎出来:作者为什么非要坚持实用性奖励,而不是只优化安全性?多半是在实验里真踩过模型学会拒绝一切的坑,才专门设计这套机制去纠偏。这提醒人一件事,安全对齐最大的风险常常不是模型不够警惕,而是警惕过了头,变成一个什么都不敢做的空壳。有价值的安全不是零风险,而是在风险和实用之间找到那个不断移动的平衡点。攻击手段一进化,平衡点就跟着漂,共同进化这个思路真正的分量,或许就在这里。
那下一个问题就来了:攻防两端都足够强之后,这场博弈还有没有尽头?还是说,智能体的安全问题从一开始就注定是一场没有终局的追逐?
Q&A
Q1:AgentSafeEvo是什么?
A:它是上海人工智能实验室等机构提出的对抗式共同进化强化学习框架。攻击者模型和防御智能体在多轮工具交互任务里互相博弈、一起训练,目的就是让大语言模型智能体面对各类安全攻击时更扛得住。
Q2:AgentSafeEvo能防御哪些类型的攻击?
A:六大类都在覆盖范围内,具体是直接提示注入、间接提示注入、工具描述注入、虚假信息、有害工具执行和用户查询越狱,往下还分出13个具体子类型。智能体执行任务全流程里可能碰上的恶意手段,基本都能对上号。
Q3:AgentSafeEvo训练会不会让模型变得过度保守拒绝任务?
A:不会。论文专门设了安全和实用双重奖励机制,防的就是模型学会一律拒绝这种偷懒策略。实验里,它在攻击下的任务完成率反倒比基线方法更高。