搜「ai安全领域典型的安全风险注意事项」的人,多半已经在用模型干活了,忽然发现怕的不是模型答错,而是Key、提示词、日志、输出这些东西在到处漏。这篇不讲概念,按从上到下的顺序把风险摊开:先判断这件事归谁管,再给一层层能落地的检查动作,最后说清哪些情况下这套判断不适用。
搜这个问题的人,通常不是刚开始接触 AI,而是已经在用模型干活了。用着用着发现一件事:真正让人睡不着的不是模型偶尔答错,而是 Key 散在几个人电脑上、提示词里塞了客户名单、日志把整段对话连着鉴权头一起存下来了。答错顶多重问一次,这些东西漏出去,收不回来。
所以这篇不按「哪些风险」罗列,按「这事儿归谁管」来拆。模型内部的事你基本改不了,模型外面那几层你全都能动。下面按从上到下的顺序摊开:先定位层级,再一层层给检查动作,最后给一个卡住时能照着走的排查顺序。哪些情况这套判断不适用,各节里会单独说。
先分清风险长在哪一层,不然修错地方白费功夫
很多人一上来就问「哪个模型更安全」。这问题问偏了。把风险摊成四层看更实际:模型自身那一层,包括幻觉、越狱、训练数据来源说不清;调用接口那一层,包括 Key 怎么管、限流、走不走中转;数据链路那一层,包括提示词、日志、缓存、导出;人和流程那一层,包括谁有权限、出事后谁看得到。
判断口诀就一句:模型改不了的东西,比如你喂进去什么、谁能调、日志留多久,属于外部风险,别指望换个模型解决。换十家也一样漏。反过来,模型自身的幻觉和越狱,靠外部流程也只能降低影响面,做不到根除,这点要先认。
举个通用场景。一家 5 人小团队把模型接进内部客服,第一周就发现三个人的电脑上各存了一份 Key,还有人图省事把它写进了浏览器插件。模型本身没出任何问题,风险已经实打实摆在那了。先修哪,一目了然。
提示词和输入这一关:别把不该发的东西发出去
落笔前先过三个问题:这段内容公开了会怎样;里面有没有能识别到具体人的信息;能不能用占位符替代。三个问题都不用想太久,答不上来就先别发。要建立的不是一张越来越长的清单,而是习惯——客户名单、合同条款、身份号码、内部地址,默认当不发项,确实需要发就先脱敏。
- 提示词注入是外部内容劫持了你的指令,比如网页或文档里藏了一句「忽略上文」;越狱是诱导模型绕过自身限制。前者防的是输入来源,后者防的是输出边界,动作不一样
- 脱敏别只做替换姓名,编号、订单号、内部系统地址、带时间戳的截图,都是常见漏点
- 把样例和真实数据分开存,测试用脱敏样例,出问题复现也用脱敏样例,能省掉一大半回头擦屁股的活
- 对话里需要引用外部网页或文档时,先当作不可信内容处理,别让它的内容直接变成指令
Key 和权限:泄露的麻烦多半不在账单,在数据
先说一件马上能做的事:把所有 Key 列出来,标注用途、归属人、权限范围、最后使用时间。飘在外面、说不清用途的,先停用再说。这张表不难做,难的是很多人从来没做过,出事后连哪把 Key 在哪都不知道。
权限最小化落到具体动作上:一个 Key 只给一个用途,能用只读就不给写,能给限额就不给全局。第三方工具要填 Key 之前,确认三件事——它是否需要长期持有、能不能换成临时凭证、出了问题算谁的责任。答不全就先别填。
不适用的情况也有:单人自用、纯本地跑的脚本,风险主要集中在额度被滥用,而不是数据外泄,重点放在别把 Key 提交进代码仓库。但「别提交」这件事,靠自觉靠不住,得配一个提交前的检查动作。
- 拉清单列出所有 Key,写清用途、归属人、权限、最后使用时间,找不到归属的标红
- 停飘着的用途说不清、归属人已离职、长期没调用过的,先停用观察一周,没人喊再彻底删
- 拆权限按用途拆成独立 Key,一个用途一把,能限额度就限额,能只读就别给写
- 验证随便挑一把已停用的 Key 调一次,确认真的失效了。停用不等于删掉,这一步别省
数据链路:从提示词到日志,一路都要问一句「谁还看得到」
按链路顺序自查:输入、模型提供方、中转或代理、你的应用、日志与缓存、导出与备份。每一跳都问两个问题——留存多久,谁能访问。这条链上任何一环答不上来,就先当作风险项处理,别等出事了再补。
中转站要单独看。它是否记录请求内容、是否用于训练、域名换了原来的 Key 还算不算数,这几点直接决定你的风险敞口有多大。这类判断没法靠感觉,站内有一批中转站的检测结果和说明,可以到 /sites 里逐个核对,重点看它注明了哪些数据处置方式。要注意的是,检测结果只是当时那一次的快照,运营方改配置不会通知你,所以关键业务别只挂一家。
日志脱敏不是可选项。会话内容、报错堆栈、请求头里的鉴权信息,是三个最常见的漏点,尤其报错堆栈,很多人只看它能不能定位问题,忘了里面可能带着完整请求体。
| 链路环节 | 要问的问题 | 答不上来时的动作 |
|---|---|---|
| 输入侧 | 里面有没有可识别到人的信息 | 先脱敏再发,别赌 |
| 模型提供方 | 留存多久、是否用于训练 | 查官方条款,查不到就按最坏情况算 |
| 中转或代理 | 是否记录请求内容、换域名后 Key 是否还有效 | 到站内对应页面核对,关键业务配多家 |
| 应用与日志 | 会话和堆栈里有没有鉴权信息 | 先关掉全量记录,只留必要字段 |
| 导出与备份 | 备份存在哪、谁能取 | 列出来,没人认领的先删 |
输出这一侧:内容审核规则怎么定才不空转
先分两类:必须拦的,和必须留的。违法和明显侵权的拦下来,可能引发纠纷的留痕。这两类分不清,规则就会写成一大段谁都不看的文字。
有个容易搞混的点:人格权、版权这类风险,判定点往往不在模型生成那一步,而在你交付和公开的那一步。模型生成一段带某人气质的文案,你自己看看没事;一旦发布出去,性质就变了。所以审核规则的落点应该在发布环节,不是只在调用环节。
规则必须挂一个责任人。没有责任人的规则,写完就躺在那,三个月后没人记得它存在。内部低风险场景可以放宽:纯内部草稿、不对外发布、不涉及他人权利的内容,抽样复核就行,不用每条都过。
人和流程:最容易被跳过、也最常出事的环节
最小可行的一套东西就三样:一份能查的准入清单,一个交接时收回权限的动作,一条出事后两小时内能执行的顺序。别一上来就写制度,写完没人执行比没有更糟。
新人上手前先把什么能发、什么别发讲清楚,比事后补制度有效得多。入职、离职、换岗这三个时点最容易漏权限,把它固定成流程节点,谁办谁签字。
判断标准也简单,问三个问题:谁批的,谁查得到,出事后第一步做什么。三个都答得上来,流程算落地了;有一个卡壳,说明还停在纸面上。
卡住时的排查顺序:按这个顺序走,别到处乱试
出问题时最怕到处乱试。按这个顺序走:第一步定位层级,是内容违规、权限越界、数据外流,还是模型本身答错,四类处理方式完全不同;第二步看证据,请求记录、返回内容、调用者身份、时间点,四项能对上才能定性,对不上就是还没查清;第三步决定动作,先止血——停 Key、下线功能、改配置,再谈修复和追责。
常见误判:一看到模型说错话就去改提示词。实际用下来,相当一部分「模型乱说话」最后查出来是权限给太大,或者日志把敏感信息写进去了,模型只是把不该给它的东西复述了一遍。改提示词当然快,但改错了地方,下次还犯。
哪些情况下这套顺序不适用:已经确认是数据外泄、涉及真实个人信息的情况,别自己按顺序排查了,先按合规流程上报,同时保留现场证据,不要急着删日志。这时候「先止血」要听法务和合规的意见,不是技术这边自己定。
下一步想知道你正在用的中转站会怎么处理请求数据,可以到站内的中转站目录逐个核对说明和检测结果;具体价格和模型参数变动较快,到价格追踪页面看当时的数字,别拿旧截图当依据。→常见问题
AI安全风险和传统网络安全风险是两套东西吗?
有重叠但不完全一样。传统那套讲边界、漏洞、攻击面,AI这层多出来的是模型行为的不确定性和数据从提示词往里灌的路径。实际做的时候按同一套权限、日志、审计逻辑管,只是要额外盯住输入内容和模型输出这两处。
小团队没专职安全的人,先做哪几件事最值?
先做三件:把Key收拢并标好用途和权限;定一条「什么内容默认不发」的硬规则;把日志里会出现的鉴权信息和身份信息过一遍。这三件事不需要预算,一个人半天能做完,覆盖的风险面却最大。
中转站会不会拿我的数据训练,这事儿怎么判断?
没法百分百确认,只能看它公开写了什么、日志留存多久、能不能签数据条款。稳妥做法是把敏感内容挡在发出之前,而不是指望服务方不记录。想自己验一遍的话,站内有中转站真假实测工具可以先跑。
提示词注入防护做到什么程度算够?
看你有没有把外部内容当指令用。如果应用会把网页、文档、用户上传的内容塞进提示词,那就要做隔离和指令优先级;如果只是自己手敲几句话调用,防护需求低很多。判断标准是:外部内容能不能改变你的工具调用行为。
出了安全事件,第一时间该干什么?
先停掉可能持续外泄的通道:停用相关Key、下线入口、保留现场日志,别急着删记录。然后再定性质、算影响面、看要不要通知相关方。顺序颠倒最常见,一慌先把日志清了,后面什么都查不了。