ai时代网络安全风险主要包括哪些

安全与风控

给企业安全团队盘点 AI 时代新增的网络安全风险类型与成因,按资产和攻击面分类,附一份可直接拿去开会的排查清单。

很多安全团队第一次认真评估 AI 风险,是被业务部门一句「我们要接大模型」推着走的:模型调用走谁的通道、提示词里塞了什么、Agent 能碰哪些内部系统,事先都没人盘过。这篇不给结论式口号,而是把 AI 时代新增的风险按「资产—攻击面—成因」拆成几类,再给一份从哪问起、按什么顺序排的清单,方便你对着自家架构逐条打勾,也标出哪些判断在纯内网离线部署时不适用。

很多安全团队第一次认真评估 AI 风险,是被业务部门一句「我们要接大模型」推着走的:模型调用走谁的通道、提示词里塞了什么、Agent 能碰哪些内部系统,事先都没人盘过。等你去问的时候,答案通常在三个不同的人手里,还都对不上。所以这篇不给口号式结论,而是把 AI 时代新增的风险按「资产—攻击面—成因」拆开,再给一份可以直接拿去开会的排查顺序,方便你对着自家架构逐条打勾,也顺带标出哪些判断在纯离线部署时不成立。

先明确一个前提:风险不是「AI 会变坏」,而是「你多了一批没人管的资产」。模型入口、调用凭据、提示词和上下文、工具调用权限,这四样在传统安全盘点表里基本没有位置,但它们都已经在生产环境里跑着了。数量不用去记,你可以在站内的工具目录和资料库页面看当时登记了多少条目,重点是对照自家清单,看有没有漏项。

先把新增攻击面数清楚:AI 进来之后多了哪几块资产

传统外联通道的盘点逻辑是「谁在连外部、流量去哪」。AI 进来后多了一层问题:谁能看到提示词。同一条请求,可能经过用户浏览器、业务后端、中转通道、模型服务商,每一跳都可能留下明文副本,而副本大多数不进你的日志系统,也不进你的数据分类分级表。这就是最容易被忽略的一块。

模型调用链路
从调用方到模型服务之间经过的所有组件,重点是 Key 存在谁手里、日志存在哪、能不能看到提示词原文
提示词与上下文
本身就是数据资产,工单、截图、调试日志、共享文档都是泄漏出口
工具调用权限
模型不只是读,还能下单、发信、改库,权限等价于一个内部账号
权重与推理日志
私有化部署时出现的新资产,涉及存储位置、访问账号和备份策略
  • 把每个模型入口都登记成资产条目,写清楚调用方、凭据持有人、日志落点;
  • 提示词和上下文单独标一类敏感数据,不要混在「业务数据」里;
  • 有工具调用的场景,按内部账号的标准给它建权限台账;
  • 离线私有化部署时,外联那几条划掉,换成权重文件、推理日志、运维账号三项。

按成因归类:这几类风险各自是怎么长出来的

分类的价值在于定位责任人。同一个「AI 出问题」,输入侧归应用开发和交互设计,输出侧归业务流程,权限侧归运维和账号管理,供应链侧往往是采购和业务一起拍板的。成因不同,能改的抓手也不同,混在一起讲就只剩下「加强管理」四个字。

类别典型表现根因可落地的抓手
输入侧提示词注入、越狱绕过限制模型分不清指令和数据把外部内容当不可信输入处理
输出侧幻觉被直接当成结论使用缺少来源校验和复核环节关键输出必须带来源或人工确认
权限侧Key 与凭据扩散、临时凭证不回收多人共用、没有生命周期管理按人按用途发凭据,设回收周期
供应链侧第三方中转、插件行为不可见无法验证对面实际执行了什么能自建就自建,不能就限数据范围
合规侧数据出境、个人信息、著作权业务先跑、法务后补上线前走一次数据流向评审

这几类里,最容易被低估的是权限侧。因为它不报错、不告警,只是慢慢地从「一个人试一下」变成「一个团队共用同一个 Key」,直到某天有人拿它跑了不该跑的东西。它跟模型能力没关系,纯属账号管理没跟上。

哪些风险算你的,哪些不算:一条判定线

把所有风险都往自己身上套,清单会长到没人看。判断方法很简单,先回答三个问题:数据出不出境、模型能不能改你的系统、日志里有没有提示词原文。三个都否,风险清单可以砍掉大半;只要有一个是肯定,对应的那一类就得单独立项。

场景主要需要关注可以暂时放一放
只读问答,内容不落库输入侧、输出侧权限侧、供应链侧
接了工具调用或写库权限权限侧必须单独立项合规侧看数据范围
私有化部署,无外部调用权限侧、日志与账号外联与供应链
多团队共用一套凭据权限侧最优先其余按数据敏感度排

如果业务只是把公开资料丢给模型做摘要,且结果不直接对外,那合规侧那条基本可以先跳过。反过来,只要模型能拿到客户数据又能对外发内容,输出侧和合规侧就同时成立,不能只处理一边。

排查顺序:从哪问起,按什么节奏推

顺序错了会白干:先看模型选型、先测试提示词,都属于跳步。建议按资产、数据流、边界、证据四步走,每一步都有可交付物,别人接手时能看到进度。

  1. 盘资产列出所有在跑的模型入口、调用方、凭据持有人。验证方式是让每个业务方签字确认清单,签不出字说明还有没盘到的。
  2. 看数据流画一次请求从用户输入到日志落盘的完整路径,标出中途经过哪些人和机器。验证方式是随便挑一条真实请求,看能不能对上路。
  3. 定边界明确哪些能力禁止交给模型,比如删数据、转账、批量外发。写进配置或权限系统,只写在文档里不算数。
  4. 留证据记录口径、时间点、责任人。验证方式是换一个人按记录能不能复现同样的判断。

做完这四步,你会发现真正的缺口往往不是模型本身,而是凭据管理、日志留存、权限边界这三件老事。AI 只是把它们暴露得更快。

这些判断什么时候不成立

前面所有分类都有前提。纯离线部署时,外联通道和第三方供应链那几条基本不适用,重点转向内部账号、权重访问和日志留存。只做内部知识检索的场景,提示词注入的风险下降,但检索源被污染的问题会浮上来——答案看起来有出处,实际上是脏数据。

还有一类变化来自外部口径。合规相关的判断依赖监管说明,而这类说明会更新,别照抄几个月前的结论。具体条款和当前口径,到站内的资料库和指南中心核对当时的版本,把日期和出处记在报告里,比在群里传截图靠谱。

AI 风险清单不用求全,先保证每一类都有人负责、有入口可查、有边界可守。
下一步把上面四步清单对着自家架构过一遍,再去看工具目录里登记的中转和插件类服务,核对你正在用的那几个有没有在名单里、当前口径是什么。

常见问题

AI 时代新增的风险,和传统网络安全风险是两套东西吗?

不是两套。底层还是那几类:身份、权限、数据、供应链。变的是入口变多了、数据形态变了、模型本身会「自作主张」。所以做法上建议沿用原有资产清单,在每一栏里补 AI 相关的条目,而不是另起一份互不相干的表。

只用了官方 API,没用中转站,风险是不是就小很多?

链路可信度确实高一些,但风险并没有消失:提示词里如果带了内部信息,照样是数据外发;Key 管不好一样会扩散;模型输出被直接采信也会出错。官方通道解决的是通道可信,不解决你自己的用法问题。

这份清单适合多大的团队用?

小团队可以按资产、数据流、边界三步走,一两个小时能过一遍。规模大的话建议先按业务线拆,每条线各自盘入口和凭据持有人,再由安全团队合并。关键不是清单多长,而是每一项都有人认领。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。