AI安全不是刹车片：邵广禄谈AI规模化应用的前提

AI安全当不了AI发展的“刹车片”，它其实是AI高质量发展的“加速器”。

文 | 中国电信集团科技委主任、中国电信集团原总经理 邵广禄 / 中国电信科技委研究员 南楠

人工智能正加快进入生产系统和核心业务。AI一旦真正参与业务决策、调用工具、操作系统甚至控制设备，决策者盯的就不只是“能力有多强”，还会问一句“安全不安全”。到了智能体时代，AI安全也不只是防数据泄露、防回答出错，它牵涉现实资产、业务连续性，还有责任由谁来担。

于是，一个老被拿出来讨论的问题变了味：AI安全到底是技术发展的约束，还是产业应用的前提？眼下的情况是，AI安全已从附加条件变成一种基础能力——AI要进生产系统、进核心业务、进关键行业，都得先过这一关。再往深说，AI能不能用、能用到什么份上、多快能铺开规模化应用，都由AI安全说了算。

AI发展的新趋势，给AI安全出了新难题

目前AI能力有六个变化，彼此之间还都连着。

头一个，AI从生成内容“回答问题”转向自主行动，能调用工具、执行任务、操作系统、控制设备，风险也从“说错了”变成“做错了”。

第二个，AI从单模型走向多智能体协作，任务可以拆解，记忆可以共享，彼此还能相互调用，效率是上去了。可风险也跟着变：一个单点错误，顺着任务拆解、记忆共享或者工具调用一路传下去，就成了系统性、链式的风险。

第三个，AI从辅助工具慢慢变成业务基础设施，进了金融、医疗、工业、能源、政务这些关键领域。模型输出会直接影响核心业务决策和连续运行，AI的影响面更广、代价更高、责任链也更长。

第四个，AI从封闭模型走向开源普及。开源开放把创新门槛降了下来，更多行业、更多专业人员都能参与AI创新，这是我国发展人工智能的重要条件。但能力扩散的同时，风险也在同步扩散，恶意使用的成本往下走，下游责任更加分散。

第五个，AI从数字世界走进物理世界，具身智能、智能汽车、机器人等发展很快。AI出错或者能力不够，影响不再停留在屏幕里，可能直接造成现实损害。

第六个，AI竞争正从模型训练转向规模化推理和应用，安全的重心也开始从“模型有没有风险”，转向“整个系统在真实业务中能不能长期可靠运行”。

安全边界已经扩成一张贯穿经济社会的风险地图

这些变化叠在一起，AI安全就不再是“一个模型安不安全”的事，而变成了基础设施、数据、模型、智能体与系统、应用与业务、社会与国家安全六个层面的复杂系统问题。越往上走，风险影响的范围越大；不同层次之间，又通过数据流、权限链、工具链和业务链相互连着。

AI的六层风险地图

这就意味着，AI风险有三个突出特征：一是链条化，一个提示注入，可能借着智能体权限变成真实的业务操作；二是涌现化，单个模型看着安全，多个模型、工具和数据连起来却可能冒出新的风险；三是外溢化，技术缺陷可能很快转成企业经营风险、社会风险，甚至国家安全风险。过去那种“上线前做一次安全检测”的做法已经不够用，安全得贯穿数据、开发、部署、运行和退出的全生命周期。

安全不是发展的跷跷板，而是相互促进的飞轮

AI正在成为社会发展的新动能。自主性越高、能力越强，越能进入核心生产流程，创造的价值也越大；可与此同时，风险敞口也会增加。企业不是看不到AI的价值，而是担心出了事故损失有多大、风险能不能控制住、业务怎么恢复、责任由谁承担。这些顾虑解决了，AI才可能从局部试点真正走向规模应用。

AI高质量规模化应用=有效性×可靠性×安全性。有效性说的是“有没有用”，可靠性说的是“能不能持续稳定地用”，安全性说的是“敢不敢放进核心业务”。这三者并非简单相加，其中任何一项接近零，整体价值都会明显缩水。

因此，安全与发展并非此消彼长的跷跷板，二者更像是相互促进的飞轮。AI应用铺得越开，暴露的风险越多，企业就越会加码安全投入；安全产品和服务一旦规模化落地，又会把告警、攻击样本和处置反馈攒下来，带动检测与自动化能力往上走；等到误报降下来、风险更可控，企业信任度提升，也更愿意把AI放进核心业务。说到底，安全投入是一笔降低不确定性、做大AI应用市场的生产性投入，并非单纯的成本。

AI安全正在形成新的产业增长空间

放眼全球，AI安全主要靠三类角色共同推进：政府以监管划定底线，企业在市场竞争中带动技术和产品迭代，第三方机构则提供技术标准、评测、审计和认证。美国更倚重技术标准、商业平台和市场竞争，欧盟更看重政府监管、安全标准和第三方保证。我国的思路是统筹平衡，让政府监管、企业竞争与第三方认证、技术标准三方面协同发力。

在这个过程中，AI安全已经具备成为独立产业的基本特征。现实收入规模还远小于潜在市场，但产品形态正从单点工具走向平台化，智能体安全正在成为新的增长点，AI应用企业买安全服务的意愿也在增强。它的产业价值，正从“限制风险”转向“使AI能够规模化进入核心业务”。

再看市场结构，模型安全评测、AI运行时安全、供应链安全、数据安全、智能体与非人身份安全、治理合规和第三方保证等赛道正逐步成型。收入模式也会从眼下以项目制咨询、红队测试为主，渐渐向平台订阅、托管安全服务、审计认证等持续性收入延伸。赛道越清楚、标准越一致，产业规模才越有希望真正做大。

想让AI安全发展得更快，就得用高水平的安全去带动AI规模化落地。

面对AI走向规模化应用这件事，有五方面工作要重点推进。

其一，把AI安全摆进国家AI基础能力建设的盘子里。AI安全不该只是应用上线之后的一道合规手续，它应当和算法、算力、数据、资本、应用、人才这些要素平起平坐，成为推动人工智能发展的基础要素。

其二，让安全能力长进系统内部。以往不少安全能力是在系统建好之后再从外面挂上去的，到了智能体时代，光靠外围防护已经顶不住。安全要和模型设计、智能体架构、业务流程一起建，做出安全原生模型、安全原生智能体、安全原生平台和安全原生应用。

其三，集中攻关智能体安全的关键技术。身份认证、最小权限控制、工具调用安全、记忆安全、多智能体协同安全、行为审计和自动化红队测试，这些要优先发展。说到底是要答好三个问题：智能体是谁，被允许做什么，做错后能不能及时发现并停下来。

其四，把AI安全做成新的产业增长点。安全数据、安全工具、模型评测、运行时防护、智能体治理、审计认证和安全服务要协同推进，让安全投入既撑起风险治理，也长出新的产业价值。

其五，建AI安全的公共基础设施。高质量安全数据集、漏洞与事件数据库、行业安全基准、红队攻防平台、风险监测预警体系，这些公共属性很明显，得由政府、企业、高校和第三方机构一起参与，少做重复投入，形成统一的风险语言。

把商业保险引进来，用经济机制推着AI安全往前走。

AI要规模化应用，还得有市场经济的逻辑，商业保险这块值得重点摸索。不少新技术、新产品从导入期走到规模应用，都靠保险帮忙分担剩余风险。数据泄露、系统中断、智能体误操作、第三方财产损失这类低频高损的风险，有了保险，企业“不敢用”的顾虑就能降下来。

更关键的是，保险能把抽象的安全风险变成可量化、可定价的东西。企业要是权限控制严格、上线前做过安全评测、运行中持续监测、有人工复核和紧急熔断、日志完整且责任可追溯，保费就该更低，保障范围也能更宽。这么一来，安全能力就从原则上的要求变成了算得出来的经济收益。

保险还能把一次性的经济补偿升级成持续的安全服务，推动形成“安全评测—风险分级—保险定价—持续监测—理赔复盘”的闭环。承保和理赔的过程中会沉淀事故发生率、损失分布、控制措施有效性等数据，反过来又能促进技术、标准和监管迭代。

当然，AI保险也有难题：责任链条不清、历史数据不足、风险动态变化、系统性风险集中、损失因果难以证明。所以得从静态保单转向动态保险，从单纯赔偿转向“保险+安全服务”，还要探索产业链协同承保。安全技术决定风险能不能防住，法律治理决定责任由谁承担，商业保险决定剩余风险能不能承受，三者缺一不可。

结语

AI能力越大，能进入的领域越关键，拿到的权限越高，安全失效的代价也就越大。可信度正成为AI规模化应用能不能突破的关键瓶颈。

所以说，AI安全不是AI发展的“刹车片”，而是AI从试点应用走向规模化应用、走向关键领域应用和高质量发展的“加速器”。让安全能力和AI能力同步演进，形成技术、治理、产业和市场机制协同的安全体系，有助于加快把AI的技术潜力转化为产业价值和社会价值。