AI安全是AI规模化应用“加速器”
AI安全不是AI发展的“刹车片”,而是AI高质量发展的“加速器”。文 | 中国电信集团科技委主任、中国电信集团原总经理 邵广禄 / 中国电信科技委研究员 南楠人工智能正在加速进入生产系统和核心业务。当AI真正参与业务决策、调用工具、操作系统乃至控制设备时,决策者关心的,不只是“能力有多强”,还关心“安全不安全”。进入智
AI安全并非AI发展的"刹车片",它更像是AI高质量发展的"加速器"。
文 | 中国电信集团科技委主任、中国电信集团原总经理 邵广禄 / 中国电信科技委研究员 南楠
人工智能正加快进入生产系统和核心业务。一旦AI真正参与业务决策、调用工具、操作系统甚至控制设备,决策者关注的就不仅是"能力有多强",还有"安全不安全"。到了智能体时代,AI安全的含义已超出防止数据泄露或回答出错,它牵涉现实资产、业务连续性以及责任承担。
于是,一个长期被讨论的问题正在起变化:AI安全到底是技术发展的约束,还是产业应用的前提?从眼下来看,AI安全已由附加条件变成AI进入生产系统、核心业务和关键行业的基础能力。再往深一层说,AI能不能用、能用到什么程度、规模化应用能跑多快,都由AI安全说了算。
AI发展的新趋势,给AI安全出了新难题
眼下AI能力正呈现六个彼此关联的变化。
其一,AI从生成内容"回答问题"转向自主行动,能调用工具、执行任务、操作系统、控制设备,风险也从"说错了"变成"做错了"。
其二,AI从单模型走向多智能体协作,可做任务拆解、记忆共享、相互调用,效率因此提升。风险也跟着变了:一个单点错误会顺着任务拆解、记忆共享或工具调用扩散,演化为系统性、链式风险。
其三,AI从辅助工具渐渐成为业务基础设施,进入金融、医疗、工业、能源、政务等关键领域。模型输出会直接左右核心业务决策与连续运行,AI的影响面更广、代价更高、责任链也更长。
其四,AI从封闭模型走向开源普及。开源开放压低了创新门槛,让更多行业、更多专业人员能参与AI创新,这是我国发展人工智能的重要条件。但能力扩散的同时风险也在扩散,恶意使用的成本降了下来,下游责任则更加分散。
其五,AI从数字世界走向物理世界,比如具身智能、
其六,AI竞争正从模型训练转向规模化推理和应用,安全重心也开始从"模型有没有风险"转向"整个系统在真实业务中能否长期可靠运行"。
安全边界已经铺成一张贯穿经济社会的风险地图
上述变化叠加之后,AI安全已从"一个模型是否安全",扩展为基础设施、数据、模型、智能体与系统、应用与业务、社会与国家安全六个层面的复杂系统问题。层次越往上,风险影响的范围越大;各层次之间又通过数据流、权限链、工具链和业务链彼此连接。
AI的六层风险地图
这带来的结果是,AI风险显出三个突出特征:一是链条化,一次提示注入可能借智能体权限变成真实的业务操作;二是涌现化,单个模型看着安全,多个模型、工具和数据连起来却可能冒出新的风险;三是外溢化,技术缺陷可能很快转成企业经营风险、社会风险乃至国家安全风险。过去那种"上线前做一次安全检测"的做法已经不够用,安全必须贯穿数据、开发、部署、运行和退出的全生命周期。
安全与发展不是跷跷板,而是相互促进的飞轮
AI正在成为社会发展的新动能。自主性越高、能力越强,越能进入核心生产流程,创造的价值也越大;与此同时,风险敞口也会随之增加。企业不是看不见AI的价值,而是担心出了事故损失有多大、风险能不能控住、业务怎么恢复、责任由谁来担。这些顾虑解决了,AI才有可能从局部试点真正走向规模应用。
AI高质量规模化应用=有效性×可靠性×安全性。有效性回答"有没有用",可靠性回答"能不能持续稳定地用",安全性回答"敢不敢放进核心业务"。三者并非简单相加,任何一项接近零,整体价值都会明显缩水。
所以说,安全与发展不是此消彼长的跷跷板,而是相互促进的飞轮。AI应用不断扩张,风险暴露随之增多,企业就会加大安全投入;安全产品和服务规模化部署后,又会沉淀告警、攻击样本和处置反馈,把检测与自动化能力抬上去;误报降下来、风险更可控,企业信任增强,也就更敢把AI放进核心业务。安全投入不是单纯的成本,它是降低不确定性、扩大AI应用市场的生产性投入。
AI安全正在打开新的产业增长空间
放眼全球,推动AI安全的力量大致分成三股:政府以监管划定红线,企业借市场竞争拉动技术与产品更新,第三方机构则承担技术标准、评测、审计和认证。美国更倚重技术标准、商业平台和市场竞争;欧盟把重心放在政府监管、安全标准与第三方保证上;我国讲究统筹平衡,让政府监管、企业竞争,连同第三方认证和技术标准,几方一起使劲。
在这个过程中,AI安全已经具备成为独立产业的基本特征。现实收入规模仍远小于潜在市场,但产品形态正从单点工具走向平台化,智能体安全正在成为新的增长点,AI应用企业购买安全服务的意愿也在增强。它的产业价值正从"限制风险"转向"使AI能够规模化进入核心业务"。
市场结构上,模型安全评测、AI运行时安全、供应链安全、数据安全、智能体与非人身份安全、治理合规、第三方保证等方向正逐步成形。收入来源也不会再局限于项目制咨询和红队测试,会慢慢向平台订阅、托管安全服务、审计认证这类能持续收费的模式延伸。赛道分得越清楚、标准越统一,产业规模做大的可能性才越高。
要推动AI大规模落地,就得把AI安全的发展速度提上来,用高水平的安全能力为规模化应用护航。
AI要走向规模化应用,有五方面工作需重点推进。
第一,将AI安全纳入国家AI基础能力建设。安全不该只被当作应用上线后的一道合规手续,它应当与算法、算力、数据、资本、应用、人才等要素放在同等位置,成为驱动人工智能发展的基础要素之一。
第二,让安全能力从内部长出来。以往不少安全能力是在系统建好之后再外挂上去的,到了智能体时代,光靠外围防护已经不够用。安全需要和模型设计、智能体架构、业务流程同步推进,形成安全原生模型、安全原生智能体、安全原生平台和安全原生应用。
第三,集中攻关智能体安全的关键技术。身份认证、最小权限控制、工具调用安全、记忆安全、多智能体协同安全、行为审计和自动化红队测试应优先发展。说到底要回答三个问题:智能体是谁,被允许做什么,做错后能否及时发现并停止。
第四,把AI安全做成新的产业增长点。安全数据、安全工具、模型评测、运行时防护、智能体治理、审计认证和安全服务要协同推进,让安全投入既服务于风险治理,也能产生新的产业价值。
第五,建设AI安全的公共基础设施。高质量安全数据集、漏洞与事件数据库、行业安全基准、红队攻防平台、风险监测预警体系等,公共属性都很明显,需要政府、企业、高校和第三方机构一起参与,减少重复投入,让大家用同一套风险语言说话。
引入商业保险,用经济机制为AI安全提速
AI规模化应用还得建立起市场经济的逻辑,商业保险是值得重点探索的方向。不少新技术、新产品从导入期走到规模应用,都靠保险来分担剩余风险。数据泄露、系统中断、智能体误操作、第三方财产损失这类低频高损风险,有了保险,企业“不敢用”的顾虑就能降下来。
更进一步看,保险能把抽象的安全风险变成可量化、可定价的东西。企业如果做到了严格的权限控制、上线前安全评测、持续运行监测、人工复核和紧急熔断、完整日志与责任追溯,保费就该更低,保障范围也可以更宽。这样一来,安全能力就从原则要求变成了能算得出来的经济收益。
保险还能把一次性经济补偿升级为持续的安全服务,推动形成“安全评测—风险分级—保险定价—持续监测—理赔复盘”的闭环。承保和理赔过程中沉淀下来的事故发生率、损失分布、控制措施有效性等数据,反过来又能促进技术、标准和监管的迭代。
当然,AI保险也有难题:责任链条不清、历史数据不足、风险动态变化、系统性风险集中,损失因果也难以证明。所以,静态保单要转向动态保险,单纯赔偿要转向“保险+安全服务”,还要探索产业链协同承保。安全技术决定风险能不能防住,法律治理决定责任由谁承担,商业保险决定剩余风险能不能承受,三者缺一不可。
结语
AI能力越强,能进入的领域越关键,获得的权限越高,一旦安全失效,代价也越大。可信度正成为AI规模化应用能否突破的关键瓶颈。
换句话说,安全能力并非给AI发展踩刹车;它更像一台加速器,推动AI从试点走向规模化落地、进入关键领域并实现高质量发展。技术、治理、产业与市场机制彼此配合,让安全能力和AI能力同步演进,AI的技术潜力才能更快转成产业价值和社会价值。