ai2.0时代的安全与风险

很多人是在模型开始联网、能调工具、能读你整份文档之后才发觉不对劲：它可能被一段网页文字带跑，可能把内部资料带出去，也可能只是安静地给出一个错误的判断。这篇不堆概念，给一套判断标准加可执行动作，让你分得清哪些是旧问题、哪些是这一代新冒出来的。

很多人是在模型开始联网、能调工具、能读你整份文档之后才发觉不对劲：它可能被一段网页文字带跑，可能把内部资料带出去，也可能只是安静地给出一个错误的判断。这三种表现方式不一样，根子上却是一类事——你把某个口子的控制权交出去了。

这篇不堆概念，给一套能照着做的判断标准和处置顺序，让你分得清哪些是前几代就有的旧问题、哪些是这一代新冒出来的，以及在真出事之前该先摁住哪一头。

先分清：哪些是新风险，哪些只是换了张脸

密钥管理、账号权限、数据出不出内网，这些问题在上一代就存在，站内已经有专文讲过原则，不用再重复。真正变的是另一件事：模型从「只是说点什么」变成了「能真的做点什么」。它能联网、能调工具、能读写你的文件和数据库，风险重心也就从输出内容转移到了动作上。

旧风险

围绕“说”的安全：提示词泄露、越权回复、把不该说的内容说出来，防护重点是内容过滤和权限边界

新风险

围绕“做”的安全：读进来的外部内容直接影响它下一步调什么工具、改什么数据，防护重点是链路拆分和动作确认

判断口径

一个功能只要既能读外部内容、又带执行权限，就按高风险对待，不要按“它只是个聊天框”来评估

这个口径有个明确的不适用场景：纯本地、不联网、不调工具的问答式用法，风险等级可以低一档，不必套上整套审批流程，否则只会让人绕过规则。

盘一遍暴露面：你的AI接了几个口子

别急着上防护，先数清楚自己接了几个口子。按四类数：输入口、输出口、工具口、数据口。数完你会发现，很多风险不是模型带来的，是你自己把两条本来独立的链路焊在了一起。

小团队最典型的情况是为了赶进度，把检索、搜索、执行塞进同一个Agent，这相当于把四个口子全部打通。要收就先收这里：哪怕只是把“读外部内容”和“执行动作”拆成两步，中间加一道确认，风险就会明显下降。

• 先画一张表：入口—能拿到的数据—能触发的动作，一行一个链路
• 标出同时具备“读外部内容”和“可执行动作”的链路，这些优先处理
• 确认每条链路上有没有人在中间看一眼，还是全自动跑完
• 把这张表存到能查的地方，事故时它比记忆靠谱

一张判断清单：这个用法风险高不高

判断一个用法风险高不高，问四句话就够了。四项里中三项以上，就按「必须人工确认」来设计，别让它自己走完整条流程。

• 外部能不能往里塞内容——用户、网页、第三方返回都算
• 它能不能自己决定下一步调什么、调几次
• 出错的代价是钱、是数据、还是对外发布的内容
• 出错后能不能撤回，还是发出去就收不回来

第三项可以单看：不可撤回的动作，比如转账、发帖、删库、对外发信，一律加二次确认。别信「它判断过了」这句话，模型没有替你承担后果的能力。

能落地的四道闸：权限、隔离、确认、留痕

四道闸的顺序不是随便排的。权限和隔离是事前，确认是事中，留痕是事后。普通人最容易只做最后一道，出事之后才发现前面三道光秃秃的。

1. 权限收口把AI当成一个新入职的同事给权限，默认最小，需要什么单独申请。别因为它用起来方便就直接给管理员账号。
2. 通道隔离外部内容进来的通道和能执行动作的通道尽量分开，中间加一层规则过滤或人工确认。验证方法：找一条外部内容，看它能不能顺着链路触发工具调用。
3. 动作确认不可逆动作前设弹窗或审批。验证方法：故意跑一次批量任务，看它在真正执行前是否停下来等确认。
4. 调用留痕每次工具调用记下时间、参数、结果，出问题时先看日志而不是先猜。日志的脱敏口径去站内日志相关页面核对，别把敏感参数原样落盘。

看什么指标：别等出事才发现

监控不是堆仪表盘，是选几个异常时你能第一时间对上号的信号。重点看四类：调用量突增、失败率异常、出现平时没有的工具调用、输出内容与输入明显不相关。

读这些信号有个方法问题：单次波动不算数，看的应该是同一时段的基线变化。你自己的延迟基线可以去站内接口测速页面量出来，这样别人报「今天慢」的时候，你能分清是攻击、是限速，还是线路本身的问题。

降级和限速经常被误读成攻击，遇到这种情况先按站内的现象对照排查，别急着一刀切断服务，断掉之后你连日志都拿不到。

真出事时的处置顺序

处置最容易犯的错是边查边改，几个变量同时动，最后谁都说不清是哪一步生效的。下面这个顺序是为了保住可回滚、可定位。

1. 先停能停的暂停高风险工具权限、撤回正在跑的批量任务。先别改代码，改代码会把现场搅乱。
2. 再定位链路从日志倒推是哪条链路把外部内容带进来的，一次只改一个变量，改完再观察。
3. 再止损与留存按站内的泄露处置与举证留存思路走，截图、账单、会话记录先保住，别急着清理。
4. 最后复盘写清哪一道闸没拦住，把结论补进那张暴露面表格，别只口头说下次注意。

不同场景的侧重：个人、小团队、企业内部

同一套方法，落到不同规模的人身上，侧重点不一样。对号入座比背原则管用。

小团队最容易忽略的是共享账号：谁用谁的Key、离职当天怎么交接，不提前定，出事时连是谁调的都对不上。企业内部则要先对齐站内的合规术语与审计口径，否则安全团队和业务团队说的不是一回事。

三者共通的一点是，把风险清单写下来，而不是停留在「大家注意一下」。写下来的清单能被人翻回来改，口头提醒过两周就没了。

这一代AI的安全问题，核心不是它说错了什么，而是它替你做成了什么。