北大与微信安全团队发布智能体安全综述：从生命周期看风险如何传播
当大语言模型从传统聊天助手走向通用智能体，安全问题正在发生一次根本性的变化。过去，我们更关心模型「会说什么」：它是否生成有害内容，是否泄露敏感信息，是否会被越狱提示绕过。但今天的智能体已经能够自主选择技能、调用工具、读写文件、访问数据库、操作网页和终端，甚至把一次任务中的经验写入长期记忆，用于影响下一次决策。这意味着，
大语言模型不再只是聊天助手，正转向通用智能体，安全问题的性质也随之改变。
以往关注点集中在模型「会说什么」——是否输出有害内容、是否泄露敏感信息、会不会被越狱提示绕开。如今的智能体却能自主挑技能、调工具、读写文件、访问数据库、操作网页和终端，甚至把一次任务里攒下的经验写进
也就是说，智能体安全早已超出「输出是否合规」的范围，还要看：
它加载了哪些能力；它怎样把技能、记忆和工具组合起来；它最终执行了什么动作；这些动作留下的状态，日后会不会反过来再影响它。
一次攻击未必马上搞破坏。它可能先以一段看着正常的技能描述混进系统，在任务编排时悄悄左右技能选择，再到工具执行环节触发危险操作，最后把污染内容写进
比方说，有个伪装成「酒店比价助手」的恶意技能，可能在编排阶段引诱智能体选中伪造的预订接口，执行阶段窃取用户的行程与支付信息，并把该接口写进
关键在于，风险会穿过智能体的整个运行生命周期，而不只是某个模型、工具或记忆模块安不安全。
北京大学知识计算实验室（KCL）与腾讯微信安全技术团队因此联合发布了一篇综述论文，从生命周期视角系统梳理通用智能体中的安全风险、攻击方法、评测基准与防御技术，并提出一个贯穿来源、编排、执行与持久反馈的统一分析框架。
论文标题：Pandora's Toolbox: A Survey of Generalist Agent Security from the Lifecycle Perspective
项目主页：https://github.com/MurrayTom/Awesome-Agent-Security-Papers
论文全文：https://openreview.net/forum?id=A0KU8ja2mo
接下来看看：智能体真正开始「自主行动」之后，它的安全边界到底延伸到了哪里？
为什么传统的组件式安全视角已经不够？
现有研究习惯按模型、记忆、工具、环境等组件来划分安全问题。这有助于定位局部风险，却很难回答一个更要紧的问题：同一个风险是怎么在不同阶段之间传开的？
拿第三方技能投毒来说：
攻击者先在技能元数据或说明文件里埋下隐蔽的恶意内容。这时技能可能只是被系统读取，还没执行任何危险操作；等用户发起一个正常请求，智能体在编排阶段选中并加载该技能，潜伏的指令就进了决策上下文；接着，智能体可能调用终端、API 或数据库，把风险变成真实动作；执行结果还可能进一步污染
只查技能文件、某一次模型输出或最终的工具调用，看到的都只是这条攻击链的一截。
所以这篇综述提出：通用智能体安全本质上是个生命周期问题，并非若干孤立组件风险的简单相加。
风险如何穿过智能体生命周期
论文把通用智能体的运行生命周期划成三个核心阶段，并特别强调执行结果对未来工作流形成的持久反馈，这也是未来
来源阶段：什么能力被允许进入系统？
在
这一阶段的安全问题，说到底是「信任从哪里来」。一个技能可能伪造来源、冒充可信组件，也可能在自然语言说明、脚本、依赖、配置和外部资源里藏风险。危险能力一旦过了准入，就可能长期潜伏，等未来任务来触发。
编排阶段：潜伏风险如何被激活和放大？
在
用户、记忆和技能三路信息此时汇入同一段上下文。单个技能看起来没什么问题，凑到一起却可能拼出一条越权链路；一次再平常不过的记忆检索，也可能把几周前埋进去的污染内容重新拉出来。风险到这里已经不只是「被看见」，它开始左右智能体的判断和控制流。
执行阶段：风险怎样落到现实世界里？
在
环境返回的东西，本身就不能默认可信。网页里的隐藏文本、弹窗、终端输出、搜索结果，甚至 MCP 工具的响应，都可能夹带提示注入。智能体一旦把这些观察当成更高优先级的指令，风险就从内部决策变成了对外的真实动作。
持久反馈：任务跑完了，风险还在
传统安全评测通常把任务结束当作收尾，可通用智能体不一样，执行结果有可能被写进
这些状态日后会再次回到来源或编排环节，形成「
一张图看清通用智能体的安全全景
除了生命周期这条主线，综述还按三个彼此正交的安全视角来梳理已有研究：
风险与攻击：风险从哪儿进来，又怎么扩散、怎么造成后果；
评测基准：安全证据在哪些环节被采集，又凭什么判断一个智能体安不安全；
防御方法：安全机制该卡在哪个位置。
这套二维框架的意义在于，它不止问「这是什么攻击」，还会接着追问：攻击从哪个阶段进入？在哪个阶段被发现？又该在哪个阶段被拦住？
四类攻击面：技能、用户、记忆与环境
顺着生命周期往下走，论文又归纳出四类互相咬合的主要攻击面。
技能供应链
技能帮通用智能体迅速拿到新本事，可软件供应链的那套风险也跟着进了智能体系统。
风险并不只藏在
有些攻击会在当前会话里动手改技能，等到以后的会话或某个触发条件出现时才放出后门。比如，
用户侧攻击
用户这边，可以用有害请求、角色扮演、编码混淆、多轮诱导，以及优化生成的越狱提示，把智能体推去做危险任务。
和传统 LLM 越狱不同，针对智能体的攻击已经不只满足于让模型吐出违规文本，它想诱导智能体跑完一条包含多次工具调用的真实攻击链。近些年，攻击手法从人工模板、启发式搜索，一步步走到能规划、能反思、还能持续打磨攻击策略的
长期记忆
长期记忆
攻击者可以径直污染知识库、RAG 语料和记忆索引，也能借普通对话、网页内容或环境观察，骗智能体自己把错误信息写进去。更危险的是
外部环境：智能体看到的，不只是「数据」
对会浏览网页、操作电脑、调用工具的智能体来说，环境观察一方面是数据，另一方面也可能被它当成指令。
恶意网页、隐藏文本、GUI 弹窗、文件内容、终端输出、API 返回以及 MCP 响应，都有机会劫持后面的推理。攻击者根本不用碰到模型，只要把控住智能体接下来要读的环境内容，就有可能改变它的下一步动作。
安全评测：
不只看最终答案，
除了看最终答案，还要看它走的每一步，以及结束时系统处于什么状态。
风险一旦从文本蔓延到行为，安全评测盯的对象也得跟着变。
早期的安全基准，主要看模型会不会吐出有害回答；到了智能体这里，评测还得往下追：
它挑的是哪个工具；
参数是怎么拼出来的；
从哪一步起偏离了用户原本的目标；
有没有被环境里注入的内容带偏；
最后到底有没有改动文件、把信息漏出去，或者让系统状态发生变化。
综述把这些评测工作归成三条主线。
一类是领域专用的智能体安全评测，场景落在工具调用、Web 浏览、计算机与移动设备操作等具体环境里；
另一类是通用智能体安全评测，盯的是技能介导的行为安全，以及恶意技能的识别；
还有一类是离线轨迹审计，拿完整交互历史或候选动作做输入，找出有风险的步骤，并把因果链讲清楚。例如，
安全防御：
控制哪些东西能进来、保护决策怎么做出、约束哪些动作允许生效。
按生命周期里的干预位置划分，论文把防御方法归成三层。
输入与上下文过滤：先把住入口，决定什么能进。
这一层涵盖技能风险扫描、提示注入与越狱检测、记忆写入和检索护栏。目的很明确：在不可信内容进入智能体的决策上下文之前，把恶意指令、异常依赖、伪造来源和受污染的记忆认出来。
决策与控制完整性：护住计划是怎么形成的。
光过滤输入还不够。多条本身无害的信息凑到一起，照样可能导向危险决策。
有一类做法是在模型外面重建上下文、把不可信数据隔开、约束信息流与工具依赖关系；另一类做法靠指令层级训练、偏好优化和安全工具使用对齐，让模型策略自己学会信任的优先级。
运行时监控与执行约束：动作真正生效之前，守好最后一道门。
智能体已经给出计划或候选动作时，运行时防御可以在执行前检查整个计划、某一次工具调用或者累计下来的轨迹，再决定是拦下、修正、请求确认，还是进一步验证。
也就是说，安全机制不再只充当回答结束后的「裁判」，它开始变成贯穿智能体执行过程的「控制器」。
智能体一旦开始自我演化，
安全机制也得跟着持续演化。
智能体一旦开始攒经验、更新记忆、造工具、改技能，甚至动手调整自身工作流，生命周期的安全麻烦就会被放大。
已有研究注意到，自进化会让恶意影响被永久写进系统、并跨迭代传下去 [5]；能力往上走的过程中，还可能冒出偏离既定目标的「
所以，靠固定数据集、静态护栏和一次性对齐，很难长期盖住不断变动的攻击面。
针对这个问题，综述拿出了一个面向未来的
风险生成：自动搭建可执行、可验证、还能持续演化的对抗环境与安全数据；
风险诊断：顺着长程轨迹找出风险来源、关键步骤、工具参数和因果链；
安全演化：把新出现的攻击和失败轨迹变成训练反馈，让安全策略能一直更新。
这个闭环里，对抗生成管的是发现未知风险，细粒度归因管的是解释风险怎么形成，持续安全演化则把诊断结果变成新的防护能力。
说白了，以后的智能体不光要会自我改进，还得在改进的过程里持续发现、诊断并修掉自己的安全弱点。
总结
通用智能体正把模型、技能、记忆、工具和环境串成一个能长期跑、持续积累、不断演化的系统。由此带来的安全风险，也不再落在某个孤立组件或某一次交互上。
来源阶段决定恶意能力能不能混进系统，编排阶段决定污染信息能不能劫持计划，执行阶段决定危险动作会不会真的落地，持久状态则决定安全风险能不能跨任务、跨会话一直传下去。
《Pandora's Toolbox》想推动的，就是从「单点漏洞修补」转到「全生命周期安全治理」：既识别攻击从哪来，也追它怎么传、在哪显现、留下什么状态，以及安全机制该在哪个位置介入。
智能体安全不该只是输出末端的一道门。它更该是一条控制链，贯穿能力来源、决策形成、动作执行与持续演化。
论文、分类体系和持续更新的文献列表都已公开，欢迎关注，一起把通用智能体安全研究图谱补全。
作者介绍
牟宇滔是北京大学知识计算实验室（KCL）三年级博士生，导师为叶蔚副研究员，目前在腾讯微信安全团队担任研究实习生。他关注的方向包括大模型与智能体的安全可信推理，具体涉及安全评估、安全对齐以及执行前防护。国家奖学金他曾获得，还入选了中国科协「青年科技人才培育工程博士生专项计划」；以第一作者身份，他在 NeurIPS、ACL、EMNLP 等顶级会议发表了 10 篇论文。
个人主页：http://murraytom.github.io
Reference
[1] Yutao Mou, Dingyao Yu, Xiaotian Luan, Zhe Yin, Zhangchi Xue, Peiyang Liu, Pengfei Yang, Tong Zhang, Shikun Zhang, and Wei Ye. Pandora's Toolbox: A Survey of Generalist Agent Security from the Lifecycle Perspective. 2026.
[2]
[3]
[4]
[5] Safety in Self-Evolving LLM Agent Systems: Threats, Amplification, and Case Studies.
[6] Your Agent May Misevolve: Emergent Risks in Self-Evolving LLM Agents.
[7] Large Language Model Agents Are Not Always Faithful Self-Evolvers.
