AI安全领域典型的安全风险注意事项:先分清哪些是模型管不了的

安全与风控

把AI安全风险按「谁该负责」拆开,给一套排查顺序和判断标准,帮你分清哪些要改架构、哪些只需改流程。

很多人搜AI安全风险,是想找一份能照着打勾的清单。实际做下来会发现,风险清单列得越长越没用——因为里面混着模型层、应用层、流程层三类问题,对应的人根本不是同一个。这篇换个思路:先按责任归属把风险分堆,再给排查顺序和不适用的情形。你拿到的不是标准答案,是一套能自己往下推的判断方式。

很多人搜「AI安全领域典型的安全风险注意事项」,心里想的是一份能照着打勾的清单。真做起来会发现,清单列得越长越没用。原因不复杂:里面混着模型层、应用层、流程层三类问题,出问题之后该找的人压根不是同一个。工程团队在查模型行为,业务团队在补审核流程,两边各忙各的,最后谁都没兜住。

这篇换个思路。先按「这风险归谁管」把问题分成几堆,再给一套能自己往下推的排查顺序和判断标准。你拿到的不是标准答案,而是一套判断方式。有些场景根本用不上这套,后面也会说清楚,别拿锤子看什么都像钉子。

先别急着列清单,先问一句这风险归谁管

同一个「数据泄露」,落在不同层,成因差得很远。模型层是训练数据里带了不该带的东西;应用层是界面没提示、用户顺手贴了不该贴的内容;流程层是审核节点缺失,或者审批走形式。三件事的修复动作完全不同,负责的人也不同。

有个特别好用的判断方法:这个风险能不能靠改提示词、改产品界面来解决。能,基本就是应用层的事,产品和技术协同一下就能动。要动账号权限、要改数据流向、要重新设计接口的,才算底层问题,得走架构决策。别一上来就把什么都甩给模型,模型背不动这个锅。

还有个容易忽略的:分层本身不产生安全性,只是让责任落到具体人头上。团队里如果没有人对某一层负责,那这一层写了再多注意事项也是纸面的。先确认每一堆问题背后有没有明确的负责人,没有的话,先补人再补流程。

输入端最容易出事的地方,多数不是模型乱说

输入端真正高频的事故,是把不该发出去的内容发出去了。这是使用者的动作,模型拦不住,也不该指望它拦。你把一段内部合同条款粘进对话框的那一刻,风险已经发生了,后面模型说什么都只是后果的一部分。

判断标准很朴素:这段内容如果明天出现在公开网页上,你会不会心慌。会心慌的,就不该进对话框。这个判断不用懂技术,业务同事自己就能做,比任何敏感词库都好使。

做法上,先按字段过一遍,把几类东西单独拎出来:身份证号、账号密钥、未公开的合同条款、内部系统地址。这几类不是「注意一下」就完事,要定成明确的禁止项,写进使用规范里,最好在工具入口处就给出提示。

  • 身份类:身份证号、手机号、银行卡号,进来之前先脱敏
  • 凭据类:API 密钥、数据库密码、内部 token,一律不进对话
  • 合同类:未公开的条款、报价、客户名单,按密级判断
  • 系统类:内网地址、服务器路径、架构图的文字描述,能不给就不给

边界情况也得说清:有些内容脱敏之后就没法用了,比如让模型帮你审一份合同。这时候不是禁止,而是换环境——走内部部署的版本,或者先做字段替换再送进去。判断的关键不是「能不能发」,是「发出去之后谁能看到、留存多久」。

输出端要盯的是「像真的」,不是「对不对」

输出端的风险点,很多人理解反了。大家担心模型说错话,其实更危险的是模型说得太像对的。编造型输出的杀伤力在于表述笃定、格式规整、还带引用编号,审的人扫一眼就放过了。错得离谱反而好办,一眼能看出来;错得精致才麻烦。

所以判断标准不该是「对不对」,而是「这条输出如果错了,谁会承担后果,承担方有没有能力复核」。如果承担后果的人根本看不懂这段内容,那复核就是假的,等于没设。

具体做法:给高风险输出配人工复核节点,别让模型自己给自己打分。模型自评这套东西听着省事,实际用下来,它对自己编的内容一样自信。复核节点要定清楚三件事——谁看、看什么、发现问题怎么打回。

输出类型风险表现建议处理
对外发布的文案表述笃定但事实有误发布前人工过一遍事实点
代码与技术方案能跑但暗藏安全问题进代码审查流程,不跳过
数据摘要与结论数字拼接错误、口径不一致回到原始数据核对关键数字
客服自动回复承诺了做不到的事限定可承诺范围,超出转人工

这张表不是让你照抄,是给你一个划分思路:按「错了之后能不能撤回」来排优先级。能撤回的,复核可以轻一点;撤不回的,比如已经发给客户的承诺,复核就得往死里做。

给模型接工具的那一刻,风险性质就变了

模型只输出文字的时候,最坏情况是说错话。一旦给它接了工具,它能查库、能发消息、能改数据,风险就从「信息错误」变成「动作错误」。这两个不是一个量级的事。说错话可以更正,误删的数据找不回来。

所以第一件事是把只读和可写分开授权。检索、查询这类只读操作,可以放得宽一些;改数据、发消息、调外部接口这类写操作,要单独授权,而且默认收紧。别图省事给一个万能凭据,出事的时候你连是哪个环节动的手都查不出来。

判断标准还是落在可逆性上:这个动作失败或被误触发,损失能不能撤回。能撤回的,加个日志就够;不能撤回的,必须加人工确认这一步,中间不能省。

这里有个特别常见的误判:以为限了模型就等于限了权限。实际上权限在凭据那一侧,模型只是拿着凭据去调。你把提示词写得再小心,凭据给的是管理员权限,模型照样能删库。查权限别查提示词,去查那个 key 背后挂了什么角色。

  1. 清点现有工具接入列出所有给模型接过的东西,标清楚每个是只读还是可写,别凭印象,去配置里对。
  2. 拆凭据只读和可写用两套凭据,可写那套单独管,谁能拿到要登记。
  3. 加确认节点不可逆的写操作前面插一步人工确认,确认的人要能看到具体要改什么。
  4. 留操作记录每次工具调用记下时间、参数、结果,出问题时这是唯一能回溯的东西。

几个听着合理、实际会把你带偏的判断

第一个:以为私有部署就没数据风险。这个想法很普遍,但站不住。私有部署解决的是数据不出你的机房,可日志、备份、运维通道照样会漏。运维人员远程连进去看一眼,日志里躺着的原始内容,这些都不在「私有」的保护范围里。要查数据风险,得顺着数据流走一遍,而不是看部署形态。

第二个:以为加了敏感词过滤就安全了。过滤的是词,不是意图。「帮我把这份名单整理成表格」这句话里没有一个敏感词,但名单本身就是敏感内容。过滤能挡明显的东西,挡不住换个说法的同类请求。它是一层网,不是一堵墙。

第三个:以为风险清单越全越好。清单的价值不在于覆盖多少条,在于每一条都能落到具体动作上。写「注意防范提示词注入」,没人知道明天该干什么;写「用户输入里出现要求忽略之前指令的内容,一律走人工复核」,这才叫注意事项。落不到动作的条目,删掉比留着强。

还有个失败经验值得说:有人把过滤规则加在了前端,结果直接调接口就绕过去了。这类「防君子不防小人」的配置,要么别做,要么做到服务端,别做半截。

出问题时的排查顺序,别从模型开始查

真出事了,第一反应往往是去看模型为什么这么答。这个顺序基本是错的,会把时间浪费在最难查、最不容易得出结论的地方。正确的顺序是倒着来:先确认是哪个环节把内容送出去的,再看权限有没有被放大,最后才怀疑模型行为。

为什么这么排?因为前面两个环节查起来快、结论硬。内容是从哪个入口进的、经过了哪些系统、权限那一步有没有越界,这些都有日志可对。模型行为是黑盒,查它是最后一步,不是第一步。

还有一条判断依据:能稳定复现的问题,往代码和配置里找,多半是参数填错、路径配错这类硬伤;不能复现、时有时无的问题,往流程和人为操作里找,比如某个人用了不同的输入方式,或者某个时段走了另一条链路。

每一步都要留记录。不记的话,第二次出同样的问题,还得从头推一遍,等于每次都在交学费。记录不用复杂,时间、环节、判断结论三样就够。

想横向对照一下各家服务在安全相关的条款和资料上有什么区别,可以到 /sites 翻各家条目;价格和模型资料的实时数字,去 /price-watch 核对当时的数字,别拿记忆里的数当依据。

这套分法什么时候用不上

得说清楚不适用的场景,不然这套东西会被滥用成形式主义。纯内部试验、数据本身就是公开的、输出不对外,这三条同时满足的时候,按这套分层流程走就是浪费。直接做字段级检查更快,也更实际。

团队小到改动只经一个人手的时候,分层的价值也会下降。一个人从头到尾都清楚,硬拆成三层再合回去,只增加沟通成本。这时候不如直接做字段级检查,把输入端那几类禁止项盯死。

反过来,有几种情况这套分法必须走完,不能省:对外提供的服务、涉及第三方数据的处理、有监管报送义务的业务。这三种一旦出事,后果不是内部能消化的,责任链必须提前理清楚。

最后一句实在话:这套东西给的是判断框架,不是安全承诺。任何框架都有覆盖不到的地方,真正管用的是团队里有人对每一层负责,并且愿意在出事之前就把丑话说在前面。

下一步先把你手上正在用的 AI 服务过一遍,看它们的资料页里对数据处理和权限是怎么写的,再回来对照这套分法找自己的漏点。

常见问题

AI安全风险里最该先处理的是哪一类?

先处理「已经发出去就收不回来」的那类:密钥、未公开材料、能改数据的写操作。这三样只要漏一次,后果不可逆。模型答错话可以纠正,数据送出去不行。

模型自身的对齐做得不错,是不是风险就小很多?

对齐降低的是模型被诱导的概率,不管你的数据边界和权限配置。实际出问题的案例里,多数卡在输入端和凭据管理上,不在模型是否听话。

没有专职安全人员的小团队怎么落地?

不用建体系。先把能发什么、不能发什么写成一句话规则,再给写操作加一道确认,最后留一份操作记录。三件事做完,覆盖了大部分高频风险。

风险清单要不要照搬行业模板?

可以当参考,但必须改。模板里的条目多数是给有专职团队的组织的,落到具体动作上往往对不上你手上的系统。挑出与你架构对应的那几条,其余先放一边。

怎么判断一次风险排查做得够不够?

看能不能回答三个问题:这条数据从哪来、经过谁、最后停在哪。答不全就是还有盲区。答得全,剩下的只是取舍问题。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。