Agent自己发不了通行证:99.1%自动审批率背后,谁还能放行?
当 Agent 开始写代码、发邮件、操作浏览器、调动数据库、调用支付接口,甚至再委派几个 Agent 去干活时,AI 安全的问题变了。 现在,问题变成了:它一旦被带偏,能做什么? ....
当 Agent 能写代码、发邮件、操作浏览器、调动数据库、调用支付接口,甚至再派几个 Agent 去干活,AI 安全要回答的东西就不一样了。
现在真正要问的是:它一旦被带偏,能做出哪些事?
一个能长期运行的 Agent,可能去读内部文件、把信息发到外部、改动生产环境、替你花钱,甚至过几天又去执行一条早就被忘掉的任务。
于是很自然就冒出这么个念头:
执行 Agent 既然可能不靠谱,那就再放一个更强的 Agent 来盯着它。
业内正在大面积试这条路。OpenAI 的 Auto-review 就安排单独的模型去审 Codex 越过沙箱边界的行动请求;公开报告里,自动审批率为 99.1%,针对合成提示注入场景的召回率为 99.3%。不过 OpenAI 也写得很明白:这算不上确定性的安全保证,监督模型照样可能被误导,执行者在边界以内的全部行为,它也覆盖不了。
这就碰到了 Agent 安全里最深的那道矛盾:
执行者、监督者,乃至审批者都可能出错,那张“可以行动”的通行证,最后该由谁来发?
答案不能只是“再塞一个更聪明的模型进去”。
1. “让 AI 监管 AI”,到底在监管啥?
把 AI 安全当成一个问题来看,容易把人带偏。
其实这里至少有三层不同的问题:
这三层彼此替代不了。
模型训练得再对齐,也证明不了它永远不会被诱导,或者在陌生环境里不出错。
工具权限卡得再死,也认不出所有“看着合法、实际危险”的组合动作。
审计日志记得再全,也没法自动追回已经泄露的数据、已经发出去的邮件、已经签下的合同。
所以 Agent 安全的技术看着不少,其实各自是在不同位置上应对不同的失效模式。
有的路线认为,该让模型从内部变得更安全;有的认为,更强的 AI 能监督更弱的 AI;有的觉得,多 Agent 互相审查就能压低单点错误;有的主张把权限判断交给外部网关、内核或策略系统;还有路线看重人类审批、组织责任,或者在证明不了安全时直接限制能力和部署范围。
它们对应的是八种不同的风险。
真正危险的并非选错某一条路线,而是把其中一条当成万能答案。
2. 多放几个监督 Agent,为什么也不会自动更安全?
先看最直观的一条:拿更强的模型去监督更弱的模型。
这条路有实打实的价值。
碰到复杂任务,模型能帮忙识别提示注入、异常指令、隐蔽的数据外传路径,也能给 Agent 的操作做风险分流。要是没有模型监督,很多语义层面的风险甚至很难被及时察觉。
可聪明和可靠,压根不是一回事。监督 Agent 照样得读懂上下文,照样会碰到不可信的内容,还可能被被执行 Agent 刻意优化出来的表象带偏。
2026 年 ICLR 一项关于适应性监控攻击的研究就指出,不可信模型能把提示注入塞进监督模型要读的内容里,进而干扰依赖语言模型的控制协议。也就是说,监督者并非站在风险之外当裁判——它自己也在攻击面里。
那换个思路:多上几个监督者。让几个不同模型各自独立审核,少数服从多数,听着挺像安全。可多数投票有个常被忽略的前提——多数人的错误得足够独立。
要是所有监督 Agent 读的是同一份被污染的上下文,用的模型架构差不多、训练数据相近、评估方式也是同一种,那它们很可能不是“五个独立法官”,而是“五个一起看错题的人”。模型数量上去了,相关错误并没消失。
多 Agent 互检当然还有价值。部分偶发错误能压下去,也能引入不同模型、不同提示词、不同工具和不同证据来源。但它不是把“一个可能犯错的系统”简单叠成“绝不会犯错的系统”。安全从来不等于投票人数,它取决于:错误是否独立、证据是否多源、权限是否真的能被阻断。
3. 检测到了风险,不等于阻止了风险
不少安全系统的指标看着很漂亮:召回率高、拒绝率高、监控覆盖广,很容易让人产生一种错觉——系统已经安全了。其实,至少要区分四件事:
这四件事不是一回事。监控系统能准确提示“这个操作有风险”,权限系统却仍可能放它过去;模型能拒绝明显危险的请求,却被新的提示注入形式绕开;Agent 在单次工具调用上完全合规,也能靠十次分别合规的调用,拼出一次数据泄露。
比如:
Agent A 被允许读取内部名单,Agent B 被允许向外部邮箱发信,两个权限单看都合法;但 A 把名单交给 B,B 再对外发送。
单看每一步,都看不出“越权”的痕迹,可整个系统已经把权限越了过去。
Agent 安全里最难缠的地方就在这儿:局部安全,不代表组合起来也安全。
一旦 Agent 长期在线运行、互相委派、共享上下文、调用外部服务,需要盯住的就不再是一串孤立的 API 请求,而是一条越拉越长的行动链。
任务是谁发起的?
它代表谁?
子 Agent 从它那里继承了哪些权限?
委派过程中,权限能不能一路收缩下去?
操作做完之后,谁负责追溯、暂停、撤销和恢复?
这些问题,靠提示词工程单独解决不了。
4. Agent 不该自己决定自己能做什么
这里要做一次关键的切分。
理解、规划、搜索、判断、出方案、调工具,这些是 Agent 的强项。
可“它想做什么”和“它被允许做什么”,不该交给同一个系统来拍板。
NIST 在 2026 年提出的 Agent 身份与授权设计原则,把这个方向讲得很细:Agent 应拥有独立、可验证的身份;委派给子 Agent 的权限应当收缩;空闲时不得保留常驻权限;授权要短时、动态、可撤销;推理系统与策略系统在架构上分开。
说白了就是一句话:
Agent 可以提出行动,但通行证不能由它自己签发。
一套成熟的 Agent 系统,至少要有三层彼此独立的平面。
第一层,智能平面。
模型真正“动脑子”的地方就在这里:理解任务、规划步骤、调工具、写代码、做研究、处理异常。
第二层,控制平面。
它不管任务本身怎么想,只管判断:谁在行动、代表谁、能访问哪些资源、权限有没有过期、预算有没有超、当前状态还符不符合最初的授权。
第三层,证据与恢复平面。
它负责留下独立记录,支撑暂停、撤销、隔离、回滚与复核。这一层不该由执行 Agent 自己维护,更不能让执行者在事后随手抹掉。
三层分开,不等于控制平面就一定正确。
它的规则可能写错,配置可能漏掉,网关可能有漏洞,初始授权也可能被自然语言理解歪。
不过,这种分离本身就带来一个关键变化。
它让“同一个模型既出主意、又拍板自己能不能干”这个循环少了一环。
5. 派给 Agent 一项任务,并不等于给了它一张随便填的空白支票
有人给出过一套候选的工程架构,叫 Verifiable Agent Control Architecture,中文是可验证智能体控制架构,缩写 VACA。
这套架构提供了一条挺要紧的思路:授权应当成为系统里可以被检查、被收窄、被撤回的对象。
换个说法,它像一份机器能读懂的“任务契约”。
一项任务不能只写这么一句:
帮我研究这家公司。
还得交代明白下面这些:
这件事是替谁去办的; 能用哪些工具; 能碰哪些数据; 哪些事不许做; 允不允许再往下委派; 委派最多能到第几层; 预算多少、时间上限多长; 哪些操作得往上报批; 哪些动作必须留下审计记录。
拿研究 Agent 举例:可以放它去搜公开网页、往工作区里写报告,但它不能自作主张联系外部人员、动用付费服务、登录私人账户,也不能改动生产系统。
这么做不是在压 Agent 的能力,而是在把两件事分开看——你希望它做成什么,以及为了做成这件事它被允许碰什么。
VACA 的要害不是多画几个框,而是几条必须被验证的约束条件:
Agent 安全真正走向工程化,恰恰是从这里起步的。
靠的不是练出一个永远不出错的模型。
而是先认定模型会犯错,再尽量让它在犯错的时候没法直接捅出最坏的后果。
6、人类把关也不是一按就灵
聊到这儿,常有人提出:高风险的动作,交给人工确认不就行了。
人当然得有。
可“有人按了批准”,跟“有人真的把监督做完了”,完全是两回事。
一天几百条风险提示、几十次跨系统授权、十几份上下文很长的操作说明摆在面前,人工审批很快就会走成过场。
人会累,会想着赶进度,会习惯性点同意,也会被模型写出的漂亮解释带偏。
所以说,靠得住的人工监督,不是把每个人都塞进每个环节。
该做的是把人留在那些真正需要拿主意的环节上。
哪些操作没法撤回?
哪些后果会落到外部主体头上?
哪些授权边界没说清楚?
哪些异常,得靠脱离模型的独立证据才判断得了?
哪些决定牵扯利益冲突、法律责任和价值取舍?
这些地方,人不能只当一个点“同意”的按钮。
人得手里有实权:看得懂、能复核、能否决、能追责。
这也是为什么安全不能只当成模型能力的问题。
说到底,它还是组织的事、制度的事、责任的事。
7、从一个 Agent 的权限,到大国间的 AI 风险沟通
最近一年,好些国家和地区已经各自动手,从不同口子管起 Agent 风险。
中国这边的文件和标准,更盯着智能体终端、身份标识、调用声明、部署使用和风险管理。
美国是从 Agent 身份、委派链、权限收缩、动态授权和证据记录这些点切进去的。
欧盟没有单设一个“Agent 法律类别”,实际会按具体用途、系统形态和风险等级,把 Agent 放进现有的 AI 系统与 GPAI 规则里管。
新加坡看重的是事前约束、有意义的人类责任、全生命周期技术控制和用户透明度。
英国、澳大利亚以及五眼网络安全机构谈得更多的,则是最小自主权、风险建模、持续评估、事故报告和身份治理。
这些机构已经显现出明显的趋同态势:Agent不再被看作“一个会聊天的软件功能”,它成了必须被识别、被授权、被约束、被记录、被追责的行动主体。
治理的场域不限于一国之内、一家公司之中。11 月 15 日深圳 APEC 峰会期间,中方再度释放明确态度:中美在 AI 领域存在竞争,但双方同样有责任围绕风险管控搭起合作与沟通的渠道。中国驻美大使谢锋表示,两国在发展和治理 AI 上既具备能力,也承担着责任,要让它一直置于人类掌控之中、真正惠及人类;世界人工智能合作组织的建设,中方也欢迎更多国家加入进来。
这并不意味用合作顶替竞争,更不是让哪一方丢掉自主创新。反过来看,模型、算力、芯片、产业应用上的较量越是激烈,就越有必要针对共同风险保留一套最低限度的沟通安排。中美此前已经商定,就 AI 的风险与收益展开对话,并开设 AI 事件沟通渠道;11 月的这轮后续对话起码表明,双方都认了一个事实:有些风险,竞争本身并不会让它自行消退。
对 Agent 而言,这一点尤其重要。单个 Agent 越权,还能靠权限撤销、日志审计和系统隔离来处理;可一旦高能力 AI 的事故跨过企业、供应链与国界,治理就需要事件通报、风险评估、危机沟通和可验证的共同规则。
中国提出开放合作,并没有回避竞争现实;它强调的是,不能让竞争把所有刹车、护栏和沟通渠道一并拆掉。
8. 未来不是谁监管最聪明的 Agent
“AI 监管 AI”并不是错的方向。模型监督会越来越重要:它能处理人类难以实时阅读的上下文,能识别复杂的语义风险,也能把大量低风险任务从人工审批中释放出来。
但它不该被当成最后一道、唯一一道闸门。监督模型会误判,会被攻击,会遗漏,也会与执行模型共同犯错。
真正值得建立的,不是一个永远正确的超级监督者,而是一套承认所有参与者都可能出错的系统:
把可形式化的边界交给强制权限控制; 把复杂语义风险交给模型监督与独立评估; 把不可逆、高损害的决定交给真正有能力承担责任的人和组织; 把每一次授权、行动、异常与恢复,变成可追溯的证据链; 让任何一层失效时,系统仍有机会停下来,而不是一路滑向现实世界。
未来最重要的问题,不是谁监管最聪明的 Agent,而是当模型、监督者和人类都可能犯错时,我们能不能把有限权限、独立证据、可撤销授权和可恢复性,拼成一个风险仍有上限的系统。
>/,920.org.cn(AI Research Institute)创始人,港大AIBT研究生,前上市公司 CMO。长期研究 AI 产品、Agent 架构与商业增长,并持续观察技术变迁如何重塑人的工作、判断与生活。
*著有《AIGC从0到1》系列丛书、及东方寓言小说《飞将军》;
早在1月26日,此人就察觉到OpenClaw(小龙虾)这一范式的价值,是中文互联网上第一个这么做的人。
想一起把AIGC从0做到1,可以关注我。