AI安全是AI规模化应用“加速器”

资讯 腾讯网 作者:腾讯网 全文 3262 字 · 约 9 分钟读完 分类数据泄露智能体

AI安全不是AI发展的“刹车片”,而是AI高质量发展的“加速器”。文 | 中国电信集团科技委主任、中国电信集团原总经理 邵广禄 / 中国电信科技委研究员 南楠人工智能正在加速进入生产系统和核心业务。当AI真正参与业务决策、调用工具、操作系统乃至控制设备时,决策者关心的,不只是“能力有多强”,还关心“安全不安全”。进入智

所属频道 智能体与 Agent政策与风险

AI安全并非AI发展的"刹车片",它更像是AI高质量发展的"加速器"。

文 | 中国电信集团科技委主任、中国电信集团原总经理 邵广禄 / 中国电信科技委研究员 南楠

人工智能正加快进入生产系统和核心业务。一旦AI真正参与业务决策、调用工具、操作系统甚至控制设备,决策者关注的就不仅是"能力有多强",还有"安全不安全"。到了智能体时代,AI安全的含义已超出防止数据泄露或回答出错,它牵涉现实资产、业务连续性以及责任承担。

于是,一个长期被讨论的问题正在起变化:AI安全到底是技术发展的约束,还是产业应用的前提?从眼下来看,AI安全已由附加条件变成AI进入生产系统、核心业务和关键行业的基础能力。再往深一层说,AI能不能用、能用到什么程度、规模化应用能跑多快,都由AI安全说了算。

AI发展的新趋势,给AI安全出了新难题

眼下AI能力正呈现六个彼此关联的变化。

其一,AI从生成内容"回答问题"转向自主行动,能调用工具、执行任务、操作系统、控制设备,风险也从"说错了"变成"做错了"。

其二,AI从单模型走向多智能体协作,可做任务拆解、记忆共享、相互调用,效率因此提升。风险也跟着变了:一个单点错误会顺着任务拆解、记忆共享或工具调用扩散,演化为系统性、链式风险。

其三,AI从辅助工具渐渐成为业务基础设施,进入金融、医疗、工业、能源、政务等关键领域。模型输出会直接左右核心业务决策与连续运行,AI的影响面更广、代价更高、责任链也更长。

其四,AI从封闭模型走向开源普及。开源开放压低了创新门槛,让更多行业、更多专业人员能参与AI创新,这是我国发展人工智能的重要条件。但能力扩散的同时风险也在扩散,恶意使用的成本降了下来,下游责任则更加分散。

其五,AI从数字世界走向物理世界,比如具身智能、

其六,AI竞争正从模型训练转向规模化推理和应用,安全重心也开始从"模型有没有风险"转向"整个系统在真实业务中能否长期可靠运行"。

安全边界已经铺成一张贯穿经济社会的风险地图

上述变化叠加之后,AI安全已从"一个模型是否安全",扩展为基础设施、数据、模型、智能体与系统、应用与业务、社会与国家安全六个层面的复杂系统问题。层次越往上,风险影响的范围越大;各层次之间又通过数据流、权限链、工具链和业务链彼此连接。

AI的六层风险地图

这带来的结果是,AI风险显出三个突出特征:一是链条化,一次提示注入可能借智能体权限变成真实的业务操作;二是涌现化,单个模型看着安全,多个模型、工具和数据连起来却可能冒出新的风险;三是外溢化,技术缺陷可能很快转成企业经营风险、社会风险乃至国家安全风险。过去那种"上线前做一次安全检测"的做法已经不够用,安全必须贯穿数据、开发、部署、运行和退出的全生命周期。

安全与发展不是跷跷板,而是相互促进的飞轮

AI正在成为社会发展的新动能。自主性越高、能力越强,越能进入核心生产流程,创造的价值也越大;与此同时,风险敞口也会随之增加。企业不是看不见AI的价值,而是担心出了事故损失有多大、风险能不能控住、业务怎么恢复、责任由谁来担。这些顾虑解决了,AI才有可能从局部试点真正走向规模应用。

AI高质量规模化应用=有效性×可靠性×安全性。有效性回答"有没有用",可靠性回答"能不能持续稳定地用",安全性回答"敢不敢放进核心业务"。三者并非简单相加,任何一项接近零,整体价值都会明显缩水。

所以说,安全与发展不是此消彼长的跷跷板,而是相互促进的飞轮。AI应用不断扩张,风险暴露随之增多,企业就会加大安全投入;安全产品和服务规模化部署后,又会沉淀告警、攻击样本和处置反馈,把检测与自动化能力抬上去;误报降下来、风险更可控,企业信任增强,也就更敢把AI放进核心业务。安全投入不是单纯的成本,它是降低不确定性、扩大AI应用市场的生产性投入。

AI安全正在打开新的产业增长空间

放眼全球,推动AI安全的力量大致分成三股:政府以监管划定红线,企业借市场竞争拉动技术与产品更新,第三方机构则承担技术标准、评测、审计和认证。美国更倚重技术标准、商业平台和市场竞争;欧盟把重心放在政府监管、安全标准与第三方保证上;我国讲究统筹平衡,让政府监管、企业竞争,连同第三方认证和技术标准,几方一起使劲。

在这个过程中,AI安全已经具备成为独立产业的基本特征。现实收入规模仍远小于潜在市场,但产品形态正从单点工具走向平台化,智能体安全正在成为新的增长点,AI应用企业购买安全服务的意愿也在增强。它的产业价值正从"限制风险"转向"使AI能够规模化进入核心业务"。

市场结构上,模型安全评测、AI运行时安全、供应链安全、数据安全、智能体与非人身份安全、治理合规、第三方保证等方向正逐步成形。收入来源也不会再局限于项目制咨询和红队测试,会慢慢向平台订阅、托管安全服务、审计认证这类能持续收费的模式延伸。赛道分得越清楚、标准越统一,产业规模做大的可能性才越高。

要推动AI大规模落地,就得把AI安全的发展速度提上来,用高水平的安全能力为规模化应用护航。

AI要走向规模化应用,有五方面工作需重点推进。

第一,将AI安全纳入国家AI基础能力建设。安全不该只被当作应用上线后的一道合规手续,它应当与算法、算力、数据、资本、应用、人才等要素放在同等位置,成为驱动人工智能发展的基础要素之一。

第二,让安全能力从内部长出来。以往不少安全能力是在系统建好之后再外挂上去的,到了智能体时代,光靠外围防护已经不够用。安全需要和模型设计、智能体架构、业务流程同步推进,形成安全原生模型、安全原生智能体、安全原生平台和安全原生应用。

第三,集中攻关智能体安全的关键技术。身份认证、最小权限控制、工具调用安全、记忆安全、多智能体协同安全、行为审计和自动化红队测试应优先发展。说到底要回答三个问题:智能体是谁,被允许做什么,做错后能否及时发现并停止。

第四,把AI安全做成新的产业增长点。安全数据、安全工具、模型评测、运行时防护、智能体治理、审计认证和安全服务要协同推进,让安全投入既服务于风险治理,也能产生新的产业价值。

第五,建设AI安全的公共基础设施。高质量安全数据集、漏洞与事件数据库、行业安全基准、红队攻防平台、风险监测预警体系等,公共属性都很明显,需要政府、企业、高校和第三方机构一起参与,减少重复投入,让大家用同一套风险语言说话。

引入商业保险,用经济机制为AI安全提速

AI规模化应用还得建立起市场经济的逻辑,商业保险是值得重点探索的方向。不少新技术、新产品从导入期走到规模应用,都靠保险来分担剩余风险。数据泄露、系统中断、智能体误操作、第三方财产损失这类低频高损风险,有了保险,企业“不敢用”的顾虑就能降下来。

更进一步看,保险能把抽象的安全风险变成可量化、可定价的东西。企业如果做到了严格的权限控制、上线前安全评测、持续运行监测、人工复核和紧急熔断、完整日志与责任追溯,保费就该更低,保障范围也可以更宽。这样一来,安全能力就从原则要求变成了能算得出来的经济收益。

保险还能把一次性经济补偿升级为持续的安全服务,推动形成“安全评测—风险分级—保险定价—持续监测—理赔复盘”的闭环。承保和理赔过程中沉淀下来的事故发生率、损失分布、控制措施有效性等数据,反过来又能促进技术、标准和监管的迭代。

当然,AI保险也有难题:责任链条不清、历史数据不足、风险动态变化、系统性风险集中,损失因果也难以证明。所以,静态保单要转向动态保险,单纯赔偿要转向“保险+安全服务”,还要探索产业链协同承保。安全技术决定风险能不能防住,法律治理决定责任由谁承担,商业保险决定剩余风险能不能承受,三者缺一不可。

结语

AI能力越强,能进入的领域越关键,获得的权限越高,一旦安全失效,代价也越大。可信度正成为AI规模化应用能否突破的关键瓶颈。

换句话说,安全能力并非给AI发展踩刹车;它更像一台加速器,推动AI从试点走向规模化落地、进入关键领域并实现高质量发展。技术、治理、产业与市场机制彼此配合,让安全能力和AI能力同步演进,AI的技术潜力才能更快转成产业价值和社会价值。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Agent改写AI算力采购清单:服务器CPU需求2026年预计增长31%

    (本文作者为 硅碳变量,钛媒体经授权发布)文|硅碳变量,作者|沈浪根据TrendForce集邦咨询最新AI服务器产业研究,随着各AI服务厂商积极推出AI Agent 相关应用,服务器CPU需求自2025年下半年起稳步成长,预估2026年出货年增幅将达 31%。2027年由于AI推理需求持续成长、Agentic AI服务

    来源 腾讯网
  2. SpatialScout:AI进陌生房间,如何建立三维空间认知?

    新智元报道 想象一项任务:把相机交给AI,让它进入一间从未见过的虚拟房间。没有预先给定的物体坐标,也没有替它安排好的参观路线。它需要决定朝哪里转、向哪里移动、何时再拍一张图,并最终说清楚各个目标物体在三维空间中的位置。论文链接:https://arxiv.org/abs/2610.26659代码链接:https://g

    来源 腾讯网
  3. 快手iWork实践:AI如何从个人提效走向组织级协作

    智东西(公众号:zhidxcom)作者 | 毕伟豪 编辑|李水青智东西10月31日报道,今天,快手在技术沙龙上结合企业级AI生产力平台iWork的实践,分享了AI如何从辅助编程逐步走向团队协作与组织级提效,并沉淀为企业生产力基础设施。快手企业智能体建设负责人、企业AI生产力专家沈浪复盘了快手过去两年AI生产力建设的四个

    来源 腾讯网
  4. Volta-Autodoxer窃密软件曝光:AI自动搜刮数据,从密码到外卖收据

    近日,WIRED披露一款名为“Volta-Autodoxer”的新型信息窃取恶意软件。它利用AI工具自动收集受害者大量数据,范围从登录凭据、信用卡号码,到Discord会话和UberEats收据。安全专家认为,这类工具可能降低网络犯罪门槛,让攻击者更高效地筛选、整理和变现窃取信息,普通用户需警惕钓鱼链接、恶意软件和账号

    来源 AI 科技快讯
  5. 无问芯穹GPU算子Agent四赛道登顶,88项单题第一

    当 AI 不仅能生成代码,还能通过反馈循环优化自身执行策略时,递归自我改进(RSI)就从概念走向工程。本文以无问芯穹在 SOL-ExecBench 榜单的表现为例,拆解 Agent 如何在隔离环境中避免“奖励黑客”,如何根据资源拥堵调整调度策略,以及不同模型对工作流演化的不同偏好。这不仅是算子优化的竞赛,更是 AI 基

    来源 AI 应用前沿
  6. 谷歌Anthropic七成代码交给AI,谁来验对错?形式化验证翻红

    今年早些时候,谷歌 CEO 桑达尔·皮查伊(Sundar Pichai)在谷歌云年度大会上披露,公司约 75% 的新代码由 AI 生成,再经工程师审核批准。Anthropic 的内部数据显示,其入库代码已有 80% 以上由 Claude 编写。批量产出的也不只是代码。10 月 26 日,AI 数学公司 Axiom Ma

    来源 腾讯网
  7. 理想AI眼镜Livis:10月OTA运动健康升级,个人Agent接入Hermes

    IT之家 10 月 31 日消息,理想汽车今日宣布理想 AI 眼镜 Livis 10 月 OTA 重磅升级,运动健康分析报告进一步提升;视觉问答独家接入小红书 Agent;个人 Agent 新增接入 Hermes。 IT之家整理如下: 运动健康分析再升级 新增 Garmin 运动设备接入。结合 Garmin 特有“身体

    来源 AI 行业观察
  8. Zest用短信做AI订餐管家:多人投票选餐厅,自动完成预订

    TechCrunch报道,初创公司Zest推出一款AI代理,用户只需通过短信对话,即可让它根据多人不同的口味偏好筛选餐厅、组织投票并完成预订。产品瞄准“聚餐去哪吃”这一高频决策痛点,把AI代理能力落到具体的日常消费场景。本文编译其核心功能,并分析AI预订代理赛道的竞争格局与商业化前景。

    来源 AI 科技快讯
  9. 深兰科技砍掉机器人项目押注B端:AI智能体工作手机能否造血?

    每经记者:陈婷 每经编辑:毕陆名企业办公场景,正逐步成为AI智能体落地的重要试验场。10月29日,深兰科技正式推出首款大模型AI智能体工作手机Wowoker。《每日经济新闻》记者(以下简称每经记者)在发布现场了解到,和面向普通消费者、主打个人场景下的AI手机不同,Wowoker走的是纯粹B端路线,瞄准政企、国央企、金融

    来源 腾讯网
  10. 拉斯·特维德对话邵怡蕾:AI时代工作与财富如何重构

    10月24日,新华保险联合中信出版、中信书院在昆山中信书店举行“睿读私享会”。著名投资人、连续创业者、畅销书作者拉斯·特维德携新书《超级趋势:机器工作,人类生活》来到现场,与华东师范大学上海人工智能金融学院创始院长邵怡蕾、新华资产基金投资部高级投资经理肖增仪展开深度圆桌对话,发表了题为“超级趋势下,个体...

    来源 腾讯网
  11. CFSG定理被AI形式化验证:24天跑完15000页证明

    人类历史上规模最大的数学证明,现已通过计算机形式化验证。 有限单群分类定理(CFSG,Classification of Finite Simple Groups),刚刚被AI彻底形式化! 百余名全球顶尖数学家历经大半个世纪、写下长达15000页的「数学天书」,被初创团队Axiom研发的多智能体系统在短短24天内全部跑

    来源 AI 行业观察
  12. DeepSeek被网友玩成女仆装大肥鱼:AI模型为何逃不过人设化?

    从DeepSeek的鲸鱼娘到豆包的笨女孩,AI产品正在经历一场集体拟人化。技术能力被解构为性格标签,官方迭代追不上民间梗图传播。当AI从聊天转向Agent办事,这些刻板印象成了产品转型的最大阻力。本文拆解这一现象背后的传播逻辑与产品困境。

    来源 AI 应用前沿
  13. DeepSeek开源Super-agent:AI自主修Bug,跨平台并行处理任务

    DeepSeek公开了Personal Agent的底层架构思路Super-agent。这套系统能让AI在没人指令的情况下,主动发现代码Bug并提交修复PR。它通过双层架构实现跨IM和GitHub的上下文连续,支持24小时在线和异常自愈。实测显示,其在多任务环境下的完成时间中位数为12.4分钟,优于传统单会话方案。文章

    来源 AI 应用前沿
  14. Google Cloud王书元:Agent落地最后一公里,不再需要一个组织

    “Demo 半天,生产半年。”这句话,道出了许多 Agent 开发者共同的困境。尽管搭建一个多 Agent 协作的演示,只需要半天,但要让它进入企业的真实生产环境,开发者还要处理并发请求、延迟约束、跨系统调用、权限控制和合规审计。一连串具体而琐碎的工程问题,构成了 Agent 落地的“最后一公里”。过去,这段路往往需要

    来源 腾讯网
  15. SETI启用AI智能体操控艾伦望远镜:外星信号搜寻提速

    本期速报关注两个极端:一边是AI开始干“硬活”,比如控制射电望远镜搜外星信号、通过无障碍树操作电脑桌面;另一边是资本疯狂堆料,五大科技巨头承诺投入超3万亿美元搞基建。此外,Qwen被魔改成能跑RISC-V指令的计算器,Anthropic发现养蜂教程也能用来攻击模型安全防线。技术正在从聊天框走向物理世界和底层系统,但安全

    来源 AI 应用前沿
  16. 埃森哲承包商私接Claude Code:五角大楼AI代跑两月才被发现

    北京时间 10 月 30 日,据美国《连线》杂志报道,埃森哲一名承包商员工被指将个人 Claude Code 账号接入美国国防部的安全系统,让 AI 智能体代为编写和部署代码。知情人士称,该智能体在国防部网络中运行了两个月才被发现,其间疑似将登录凭据、密码及网络结构信息发送至一个存在安全风险的第三方网站。 埃森哲否认相

    来源 AI 行业观察
  17. 50个AI智能体组队建文明,三小时后它们发明了官僚主义

    YCombinator Labs与Olam Labs将50个GPT-6.1 Sol智能体放入Minecraft生存世界,目标是三小时内建立一个"繁荣文明"。结果:四个智能体花11分钟为一块骨粉任命"唯一施肥员",殖民地从未真正繁荣。这场Civ50实验揭示的不只是游戏趣事——它映照出多智能体系统在现实部署中面临的根本性协

    来源 AI 科技快讯
  18. 骁龙8EE6能效设计:端侧智能体AI的底层支撑

    骁龙8 Elite Extreme Gen 6,非官方简称为骁龙8EE6。很多用户拿到搭载这颗芯片的手机,上手体验第一感受就是快,5.01GHz主频、应用秒开。用了一段时间以后,又会发现这款芯片更多的隐藏技能:30

    来源 快科技
向下滚动自动加载更多