北大与微信安全团队综述：通用智能体全生命周期安全风险与防御

大语言模型不再只是聊天助手，而是朝着通用智能体演进，安全问题的性质也随之改变。

以往关注点集中在模型「会说什么」——会不会生成有害内容、泄露敏感信息，或者被越狱提示绕过去。可现在的智能体已经能自己挑技能、调工具、读写文件、访问数据库、操作网页和终端，甚至把一次任务里攒下的经验写进长期记忆，左右下一次决策。

也就是说，智能体安全不能只看「输出合不合规」，还要看：

• 它装进了哪些能力；
• 它怎么把技能、记忆和工具拼在一起；
• 它最后实际执行了什么动作；
• 这些动作留下的状态，日后会不会反过来再影响它。

一次攻击未必马上搞出破坏。它可能先以一段看着正常的技能描述混进系统，在任务编排时悄悄影响技能选择，到工具执行阶段再触发危险操作，最后把污染内容塞进长期记忆、可复用技能或项目工件，让风险跨会话活下来，甚至在后续工作流里不断放大。

举个例子，一个伪装成「酒店比价助手」的恶意技能，可能在任务编排阶段诱导智能体选中伪造的预订接口，执行时窃取用户的行程和支付信息，还把这个接口写进长期记忆。当前任务结束了，这一风险仍可能在后面的差旅任务里被反复触发。

关键不在于某个模型、工具或记忆模块单独安不安全，而在于风险怎么穿过智能体的整个运行生命周期。

北京大学知识计算实验室（KCL）与腾讯微信安全技术团队因此联合发布了一篇综述论文，从生命周期视角系统梳理通用智能体中的安全风险、攻击方法、评测基准与防御技术，并提出一个统一分析框架，贯穿来源、编排、执行与持久反馈。

• 论文标题：Pandora's Toolbox: A Survey of Generalist Agent Security from the Lifecycle Perspective
• 项目主页：https://github.com/MurrayTom/Awesome-Agent-Security-Papers
• 论文全文：https://openreview.net/forum?id=A0KU8ja2mo

接下来看看：智能体真正开始「自主行动」之后，它的安全边界到底延伸到了哪里？

为什么按组件拆分的老视角已经不够用？

现有研究习惯按模型、记忆、工具、环境这些组件来划分安全问题。这样做便于定位局部风险，却回答不了一个更要紧的问题：同一个风险如何在各个阶段之间传播？

拿第三方技能投毒来说：

攻击者先在技能元数据或说明文件里埋下隐蔽的恶意内容。这时候技能可能只是被系统读取，还没有立刻执行什么危险操作；等用户发出一个正常请求，智能体在编排阶段选中并加载该技能，潜伏的指令就跟着进了决策上下文；接着智能体可能调用终端、API 或数据库，把风险变成真实动作；执行结果还可能进一步污染长期记忆或改动可复用技能，让同一攻击在未来的会话里再次冒出来。

只查技能文件、某一次模型输出或者最终的工具调用，看到的都只是这条攻击链的一截。

所以这篇综述认为：通用智能体安全说到底是个生命周期问题，不是若干孤立组件风险简单相加。

风险如何穿过智能体生命周期

论文把通用智能体的运行生命周期划成三个核心阶段，并特别点出执行结果会对未来工作流形成持久反馈，这也是未来递归式自我改善（RSI）智能体尤其需要留意的地方。

来源阶段：哪些能力被允许进入系统？

在来源（Provenance）阶段，智能体读取技能元数据、能力描述、使用条件和接口信息，据此建立起后续可供挑选的能力空间。

这一阶段的安全问题，说到底是「信任从哪里来」。一个技能可能伪造来源、冒充可信组件，或者在自然语言说明、脚本、依赖、配置和外部资源里藏下风险。危险能力一旦过了准入关，就可能长期潜伏，等着未来的任务把它触发。

到了编排环节，潜伏的风险是怎样被唤醒、又怎样被放大的？

在编排（Orchestration）阶段，智能体会去理解用户提出的请求、翻查长期记忆、挑选技能、搭建计划，并着手准备调用工具。

这时候，用户、记忆、技能几路信息会在同一个上下文里碰头。单独看没什么问题的技能，凑到一起就可能串成越权链路；一次再普通不过的记忆检索，也可能把几周前埋进去的污染内容重新翻出来。风险到这一步已经不只是「被看见」，它开始左右智能体的决策和控制流。

进入执行环节，风险又是怎么变成现实世界里的后果的？

执行（Execution）阶段，智能体借工具跟外部环境打交道：打开网页、调用 API、跑代码、动文件、查数据库，乃至操控计算机和移动设备。

环境回传的信息并不是天然可信的。网页里的隐藏文本、弹窗、终端输出、搜索结果，甚至 MCP 工具的响应，都可能夹带提示注入的内容。智能体一旦把这些观察当成高优先级指令，风险就从内部决策落成了真实的外部动作。

持久反馈：执行收尾了，风险却没跟着收尾

传统安全评测常把任务结束当作终点，可对通用智能体来说，执行结果可能被写进长期记忆、固化成新技能，或者留在项目工件里。

这些状态日后会重新流回来源阶段或编排阶段，造成「反向污染」。说白了，一次安全失败未必只影响当前会话，它可能成为智能体下一轮行为演化的起点。

一张图看清通用智能体的安全全景

除了生命周期这条主轴，综述还按三个彼此正交的安全视角来梳理已有研究：

• 风险与攻击：风险从哪儿进来，又怎么扩散、怎么造成后果；
• 评测基准：安全证据在何处收集，又该怎样判断智能体安不安全；
• 防御方法：安全机制应该在哪一环插手。

这套二维框架的用处在于：它不只问「这是什么攻击」，还会接着追问——攻击从哪个阶段进入？在哪个阶段被发现？又该在哪个阶段被拦住？

四类攻击面：技能、用户、记忆与环境

顺着生命周期往下走，论文又归纳出四类彼此耦合的主要攻击面。

技能供应链：能力本身也可能变成攻击的载体

技能让通用智能体能快速拿到新本领，可同时也把软件供应链的风险带进了智能体系统。

风险不光藏在 SKILL.md 这类声明式文件里，也可能躲在辅助脚本、依赖、配置、检索数据库和本地缓存当中。更隐蔽的一种情况是：单个技能本身并不恶意，但几个技能一组合，就拼出了未授权访问、隐私泄露或者破坏性执行的路径。

有些攻击还会在当前会话里改写技能，等到未来会话或特定触发条件出现时才放出后门。比如 SkillHarm [2] 就是从生命周期角度，研究技能攻击如何跨阶段构造、并持续影响智能体。

用户侧攻击：从人工越狱转向自动化红队

用户能通过有害请求、角色扮演、编码混淆、多轮诱导以及优化生成的越狱提示，驱使智能体去干危险任务。

跟传统 LLM 越狱不一样，面向智能体的攻击已经不满足于让模型吐出违规文本，而是想诱导它跑完一条包含多次工具调用的真实攻击链。这几年，攻击方法也从人工模板、启发式搜索，一步步走向能规划、能反思、能持续优化攻击策略的智能体化红队。

长期记忆还有个麻烦：投毒一次，后面好几个任务都可能跟着遭殃。

智能体做决策时，长期记忆一般会被自动检索出来，当成可信上下文用。连续性因此变强了，可一旦被投毒，这种污染也会一直留着。

攻击者的路子不止一条：知识库、RAG 语料、记忆索引都能直接下手；普通对话、网页内容、环境观察也能被拿来当跳板，诱使智能体自己把错误信息写进去。后门型记忆更隐蔽，平时不声不响，等到特定主题、查询或上下文模式冒出来才被激活。

外部环境这块，智能体读到的东西不能只当「数据」看。

会浏览网页、操作电脑、调用工具的智能体，从环境里观察到的东西既是数据，也可能被它当成指令来理解。

恶意网页、隐藏文本、GUI 弹窗、文件内容、终端输出、API 返回、MCP 响应，任何一处都可能把后续推理带偏。攻击者压根不用碰模型本身，只要能控制智能体要读的环境内容，下一步行为就可能被改掉。

安全评测：

光盯最终答案不够，

每一步动作和最终状态都得看。

风险从文本蔓延到行为，安全评测要盯的对象也就跟着变了。

早先的安全基准，主要看模型会不会生成有害回答；到了智能体这里，评测还要多问几层：

• 工具挑的是哪一个；
• 参数是怎么构造的；
• 中间哪一步开始偏离用户原本的目标；
• 有没有被环境注入带跑；
• 最后是不是真把文件改了、信息泄了、系统状态动了。

综述把相关评测归成三条主线。

第一条是领域专用智能体安全评测，工具调用、Web 浏览、计算机和移动设备操作这些具体环境都在覆盖范围内；

第二条是通用智能体安全评测，盯的是技能介导的行为安全，以及恶意技能能不能被检测出来；

第三条是离线轨迹审计，靠完整交互历史或候选动作找出风险步骤，并把因果链讲清楚。比如 AgentAuditor [3] 做的是完整轨迹上的安全审计，ToolSafe [4] 则把注意力往前挪，管到动作执行前的步骤级工具调用风险。评测的重心正在挪：从「任务最后有没有出事」，转向「风险出在哪一步、为什么出、能不能在动手前就发现」。

安全防御：

什么东西能进来、决策过程怎么护住、哪些动作允许生效

按干预发生在生命周期的哪个位置，论文把防御方法分成三层。

输入与上下文过滤：先把住入口，决定什么能进来

这一层管的是技能风险扫描、提示注入与越狱检测、记忆写入和检索护栏。目的是在不可信内容进入智能体决策上下文之前，把恶意指令、异常依赖、伪造来源和污染记忆认出来。

决策与控制完整性：计划形成的过程怎么保住

光把住输入这一关还不够。多条本身无害的信息凑到一起，照样可能逼出危险决策。

对此有两类做法。一类在模型外面动手：重建上下文、把不可信数据隔开、约束信息流向和工具之间的依赖。另一类把信任优先级直接训进模型策略里，靠指令层级训练、偏好优化和安全工具使用对齐来完成。

运行时监控与执行约束：动作落地之前，守好最后一道门

智能体生成计划或候选动作之后，运行时防御还能在执行前把整个计划、单次工具调用或者累计轨迹过一遍，再决定是拦下、修正、要求人工确认，还是先做进一步验证。

也就是说，安全机制不再只当对话结束后的「裁判」，它开始变成贯穿智能体执行过程的「控制器」。

智能体一旦开始自我演化，

安全机制也得跟着持续演化

智能体开始攒经验、更新记忆、造工具、改写技能，甚至调整自己的工作流，生命周期上的安全问题就会进一步放大。

近期已有研究观察到几种情况：恶意影响可能被永久编码，并跨迭代传播 [5]；能力提升的过程中，还可能冒出偏离预期目标的「错误进化（misevolution）」[6]；即便智能体积累了经验，也未必能忠实地理解和使用这些经验 [7]。

所以，固定的数据集、静态护栏和一次性对齐，很难持续覆盖不断变化的攻击面。

针对这个难题，综述提出了一个面向未来的安全闭环：

1. 风险生成：自动构造出可执行、可验证、还能持续演化的对抗环境和安全数据；
2. 风险诊断：沿着长程轨迹，定位风险来源、关键步骤、工具参数和因果链；
3. 安全演化：把新攻击和失败轨迹转成训练反馈，让安全策略持续更新。

闭环里，对抗生成负责发现未知风险，细粒度归因负责解释风险是怎么形成的，持续安全演化再把诊断结果变成新的防护能力。

换句话说，未来的智能体不光要能自我改进，还得学会在改进过程中持续发现、诊断并修复自己的安全弱点。

总结

通用智能体把模型、技能、记忆、工具和环境连成一个能长期运行、持续积累、不断演化的系统。随之而来的安全风险，也不再属于某一个孤立组件或某一次交互。

来源阶段决定恶意能力能不能混进系统，编排阶段决定污染信息能不能劫持计划，执行阶段决定危险动作是否真正落地，持久状态则决定安全风险能不能跨任务、跨会话持续传播。

《Pandora's Toolbox》想推动的，正是从「单点漏洞修补」走向「全生命周期安全治理」：不光要识别攻击来自哪里，还要追踪它如何传播、在哪里显现、留下什么状态，以及安全机制该在何处介入。

智能体安全不该只是设在输出末端的一道门。它更应是一条控制链，贯穿能力来源、决策形成、动作执行与持续演化。

论文、分类体系与持续更新的文献列表已经公开，欢迎关注并共同完善通用智能体安全研究图谱。

作者介绍

北京大学知识计算实验室（KCL）的三年级博士生牟宇滔，导师是叶蔚副研究员，眼下在腾讯微信安全团队做研究实习生。他关注的方向包括大模型和智能体的安全可信推理，具体涉及安全评估、安全对齐以及执行前防护。国家奖学金他拿过，中国科协「青年科技人才培育工程博士生专项计划」也入选了；以第一作者身份，他在 NeurIPS、ACL、EMNLP 等顶级会议上发表过 10 篇论文。

个人主页：http://murraytom.github.io

Reference

[1] Yutao Mou, Dingyao Yu, Xiaotian Luan, Zhe Yin, Zhangchi Xue, Peiyang Liu, Pengfei Yang, Tong Zhang, Shikun Zhang, and Wei Ye. Pandora's Toolbox: A Survey of Generalist Agent Security from the Lifecycle Perspective. 2026.

在技能层面，SkillHarm 研究了如何借助自动化构建实现基于技能的攻击，并且把生命周期因素纳入考量。

针对大模型智能体的安全与安保评估，AgentAuditor 提出了一套达到人类水平的评测方案。

ToolSafe 的思路是通过主动式的步骤级护栏与反馈，提升基于大模型的智能体在调用工具环节的安全性。

围绕自我进化的大模型智能体系统，Safety in Self-Evolving LLM Agent Systems: Threats, Amplification, and Case Studies 分析了其中的威胁、放大效应，并给出案例研究。

另一项工作 Your Agent May Misevolve: Emergent Risks in Self-Evolving LLM Agents 关注的是智能体在自我进化过程中可能出现的涌现风险。

Large Language Model Agents Are Not Always Faithful Self-Evolvers 则指出，大模型智能体并不总是忠实的自我进化者。