ai 安全 技术与实战避坑:先看清哪些坑是模型管不了的

安全与风控

把 ai 安全技术与实战里最容易踩的坑拆成可判断的检查项,给出上手顺序、排查清单和不适用边界,帮你在动配置前就知道哪一步会翻车。

搜「ai 安全 技术与实战避坑」的人,多半已经踩过一脚了:Key 贴错地方、权限开太大、把敏感内容直接粘进对话框,出事之后才发现问题不在模型。这篇不铺概念,只讲怎么判断一件事到底该不该做、从哪一步开始做、什么情况下这套做法不成立。给的是顺序和清单,不是承诺。

搜「ai 安全 技术与实战避坑」的人,多半已经踩过一脚了。可能是 Key 贴进了前端代码,可能是给插件开了不该开的权限,也可能是把客户资料直接粘进对话框。出事以后再回头找原因,最常听到的一句是「模型怎么不拦住」。可你仔细看,那些事故里模型基本都没做错什么,它只是老老实实执行了你给的条件。

这篇不铺概念。只说三件事:怎么判断一件事该不该做、从哪一步开始做、什么情况下这套做法不成立。给的是顺序和清单,不是承诺。有些坑踩一次就够疼了,提前知道它在哪一格,比事后复盘省事得多。

先分清两件事:模型管不了的,和你自己关不上的

模型层能做的其实很有限:拒答、过滤输出、按系统提示收敛行为。它管不了你把 Key 贴进哪个网页,管不了你给工具开了多大的读写范围,也管不了你往对话里粘了什么。这三件事全在模型外面,出事概率还最高。所以每次排查安全事件,第一句先问自己:这次是模型答错了,还是我们自己把口子开大了。方向定错,后面的补救基本白费。

  • 账号与密钥:谁能拿到、存在哪、泄露了怎么停
  • 数据流向:发出去的内容会经过谁、会不会被留存
  • 权限配置:工具能碰哪些资源、默认是放开还是确认
  • 外部输入:网页、文档、用户上传,进来时有没有当作不可信内容处理

这四类问题的说法容易混,团队里各叫各的,排查时对不上。先统一术语,可以到 /ai-dict/category/safety 对照一遍,把「注入」「越权」「数据外泄」这些词各自指什么定清楚,再往下分工。

密钥和数据:动配置之前先做的两道体检

密钥这件事没太多技巧,就一条:只放服务端环境变量。别进前端代码,别进截图,别进公开仓库,别发到群里让人帮忙看报错。这条做不到,后面全是补丁。实际用下来,泄露路径往往特别朴素——调试时把带 Key 的请求贴进提问框,或者把整段配置截图发出去求助。

数据这块的判断标准要前置:发出去的内容,按「能不能公开」来判,不要按「模型会不会记住」来判。后者你控制不了,前者你自己说了算。客户名单、内部报价、未发布的方案,这类东西进对话框之前就该分层,能脱敏的先脱敏,不能脱敏的走内部通道。

对象常见误判更稳的做法
API Key以为放前端也没人看只进服务端环境变量,按用途拆开
对话内容以为删了记录就没了发送前按能否公开判断,敏感内容先脱敏
第三方授权以为令牌能随时收回优先用临时凭证,到期自动失效
团队共用账号以为方便省事一人一凭证,出事能定位到人
  1. 确认泄露范围先弄清是哪把 Key、哪个环境、有没有进过公开仓库或聊天记录,别一上来就删记录。
  2. 吊销并换新在服务商后台直接吊销旧凭证,生成新凭证,只放到服务端环境变量里,验证调用恢复。
  3. 查账留证到 /price-watch 看调用量有没有异常波动,把异常时段和来源先截图留存,再动手清理。
  4. 收窄权限顺手把这把 Key 的可用范围缩小到实际需要的接口,别继续沿用全权限。

权限这件事,卡人的永远是配置那一格

模型本身没有权限,权限是你配给它的。所以出事时别问「它怎么能删文件」,要问「我什么时候允许它删文件」。工具能碰的资源先列清楚:读文件、写文件、执行命令、调外部接口,这四类分开授权。默认给只读或者需要确认,别一上手就全放开。放开之前想一件事:它误操作一次,成本是多少。

第三方工具的授权也要看清楚,给的是长期令牌还是临时凭证。临时凭证到期即失效,可控性明显好一截。多人共用一个账号或一把 Key,等于事后没人能说清是谁干的,审计也就无从谈起。这一步不复杂,但特别容易被「先跑起来再说」跳过。

提示词注入与输出把关:防的是流程,不是词

外部内容进模型之前就该当成不可信输入。网页正文、上传的文档、用户填的表单,这些都别和系统指令混在同一层。实际做法很土但有效:把外部内容包在明确的边界里,告诉模型这段是资料不是命令。工具调用更要有白名单和参数校验,模型说调什么就调什么,是最常见的越权入口。

输出侧按用途分级。对外发布、给客户看、内部参考,三档的复核强度不一样,别用一套标准套所有场景。顺带说一句边界:这套做法对纯离线、没有外部输入的场景收益有限,别硬套。你要是只在自己机器上跑本地模型处理自己的笔记,把注入防护做到极致,投入产出并不划算。

真出事时的排查顺序

顺序错了,越查越乱。第一步先确认范围:是单把 Key、单个账号,还是整个团队的调用都异常。范围不同,处理动作完全不同。第二步看账和日志,异常调用量、异常时段、异常来源,先留证再动手删。很多人的第一反应是删记录,删完就说不清了。

第三步止血:吊销凭证、收窄权限、暂停相关流程,别一边查一边继续跑。第四步才是复盘,而且复盘要落到具体的配置改动上,写清楚改的是哪一格、为什么改。只写「加强安全意识」这种结论,同类问题还会再来一遍。

安全事件里最贵的不是补救动作,是方向判断错之后白做的那几轮。
下一步想先摸清各家模型的调用边界和公开资料,可以去模型资料库按分类翻一遍,再决定哪些能力该开给工具。

常见问题

小团队没专职安全,这套东西从哪一步开始做最划算?

先把 Key 管理收拢:环境变量存放、按用途拆开、不进代码仓库。这一步成本最低、挡住的问题最多。做完再谈数据分级和权限收窄,顺序反了会很累。

评论区说的「提示词注入防护」是不是加几句系统提示就够了?

不够。提示词只是第一层,真正起作用的是把外部内容当不可信输入、工具调用做白名单和参数校验。只靠提示词,等于把门锁写在纸上。

什么情况下这些做法不适用?

纯本地离线、无外部输入、无第三方工具调用的实验环境,大部分网络与权限措施收益很低,重点放在数据别外带就行。别为了流程而流程。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。