网易智企发布双向AI安全架构,Agent越权风险怎么治?

资讯 腾讯网 作者:数据猿 全文 3816 字 · 约 10 分钟读完 分类网易模型发布智能体大模型

“当AI从“回答问题”走向“执行任务”,安全治理的边界也必须同步延伸。“数据安全”、“内容审核”曾是企业讨论AI风险时最常见的关键词。但当AI开始读取内部资料、调用外部工具、连接业务系统,甚至按目标完成一连串任务,问题已不只是模型会不会说错话,而是它会不会做错事。11月3日,在2026年世界互联网大会“互联网之光”博览

所属频道 大厂动态模型发布智能体与 Agent

当AI从“回答问题”转向“执行任务”,安全治理的边界也得跟着往外扩。

过去企业聊AI风险,关键词多半是“数据安全”“内容审核”。可如今AI能读内部资料、调外部工具、接业务系统,甚至照着目标把一连串任务做完,大家担心的事就变了:不只是模型会不会说错话,而是它会不会做错事。

11月3日,2026年世界互联网大会“互联网之光”博览会上,网易智企首发基于易盾“AI赋能安全×安全保障AI”双向架构的产品。配合两场分享,他们给出的核心判断是:AI安全不能只在模型输出端“把关”,得贯穿AI应用的运行过程。一头用AI提升安全能力;另一头把安全机制铺到内容与数据、身份交互、权限管理、工具调用和行为执行上。AI越贴近企业真实业务,安全就越不能停在外围,而要进入具体场景和工作流程,成为AI应用规模化运行的基础治理能力。

双向AI安全架构:构建面向AI原生时代的安全体系

生成式AI刚起来那会儿,干的活大多是问答、写作、搜索和内容生成。企业的安全关注点也比较集中:生成内容违不违规,回答里有没有敏感信息,模型会不会被不当提示词带偏。

后来AI进了营销、客服、办公、研发、知识库、身份核验和交易运营等业务链路,风险对象就变了。Agent越权执行、

内容审核能判断一段话合不合规,却未必答得了一个智能体有没有理解原始任务、有没有被上下文里的恶意指令改了目标、有没有调用不该调用的工具、有没有在权限之外动过手。AI从“说”走向“做”,安全治理就得面对这道新题。

朱浩齐提到,传统安全防外部入侵,靠的多是门锁、门禁这类办法;AI进了业务之后,风险还可能来自拥有一定权限、能操作系统的AI本身。AI一旦在执行环节出偏差,影响可能不止于内容层面,还会蔓延到账户、数据和业务系统。

网易智企·易盾在大会上提出的“

AI for 安全:用AI重新提升安全能力。依托垂类模型、多Agent协同与多模态理解,AI能自动分析内容与威胁数据、生成并验证安全策略,安全人员不必再一条条人工写规则,转而验收确认运行结果。朱浩齐在现场说:“要用AI来对抗,要用魔法打败魔法。靠人去对抗AI,是根本对抗不过来的。”

安全 for AI:把安全能力用在让 AI 可控运转上。针对大模型的输入输出、身份交互、数据访问,以及智能体的工具调用和行为执行,搭建内容检测、意图识别、权限控制、风险拦截、审计追踪这几类能力,使 AI 在清晰划定的范围内活动。

前者管的是安全能力怎么跟上AI带来的新型攻击和风险规模,后者管的是AI应用自身在企业环境里怎么受控运行。两个方向由统一的AI安全能力底座撑着,涵盖风险识别、实时防护、评测决策与持续运营,帮企业从单点风险防控走向覆盖内容、身份、业务、模型与智能体的体系化治理。

内容、身份与行为:三层体系覆盖AI应用关键环节

双向架构回答的是AI安全“为什么需要升级”,产品体系回答的则是企业究竟要治理哪些风险。

网易智企·易盾将

第一层是内容与数据安全。文本、图片、音频、视频、直播、文件等多种内容形态,

这套做法真正要做的,是重新划分机器与人的分工,而非用 AI 把人工审核整个顶掉。高频、重复、标准化程度偏高的内容交给机器处理;复杂语境、边界判断和高风险处置,则由人工集中应对。

网易智企提供的一个投诉工单审核案例里,月均工单量超过250万,采用“CMA智能体初审+人工复核”后,平均出审时长由纯人工审核的35.7分钟缩短至12.3分钟,审核准确率为99.2%。这个结果只对应特定客户场景,不能外推到所有内容审核任务,但也说明内容安全产品的价值正从简单筛查走向流程协同。

第二层是交互与身份安全。AI换脸、屏幕翻拍、打印照片、3D面具、摄像头劫持和视频注入等攻击方式,让“看起来像真人”不再等于“就是本人”。

据了解,

第三层指向AI模型与智能体安全。智能体能读资料、连系统、调工具、执行任务,治理对象就不只是输入的一句话或输出的一段文字,而是“接收什么、理解什么、可以做什么、实际做了什么”的完整任务链路。

易盾通过MCP供应链安全检测、敏感数据防泄漏等问题。

内容、身份、行为三层体系有个共通之处:安全对象被拉到了AI应用运行过程里。内容合不合规、身份真不真、权限合不合理、操作是否还对准原始目标,这些问题在企业AI应用中互相牵连,一起决定一个智能体值不值得拿到更多能力。

产品体系之外,还得看业务流程。

红亭论坛上给出的治理实践。

产品体系能覆盖哪些东西,只是安全治理的头一层。企业真正要回答的,是安全能力怎么进到具体业务流程里,并且在AI应用跑起来的过程中一直起作用。

红亭安全论坛上,网易智企·易盾内容安全负责人饶晓艳围绕《大模型规模化应用中的安全治理实践》做分享,把企业AI应用分成三个阶段。

AIGC内容生产阶段,风险更多落在内容的量和传播速度上,治理重点是内容审核、生成标识、传播追溯;到了知识与业务辅助阶段,企业更在意数据风险,治理重点转向最小数据权限、知识溯源、人工复核;AI再往前走到Agent任务执行阶段,风险就落到具体动作上,任务级授权、操作确认、执行审计成了企业要盯的事。

这个划分说明一件事:AI风险不是静止的。企业不是部署完大模型,再补一套统一规则就完事。阶段不同,风险对象不同,安全管理动作也得跟着变。

饶晓艳在论坛上说:“整个AI的风险是越来越高的:AI进入业务越来越深,攻击门槛越来越低,攻击速度越来越快。”

也就是说,企业不能只在模型输入前或输出后设一道单点防护。提示词攻击可能伪装成普通问答、角色设定,也可能藏在网页、文件、API、工具或

红亭安全论坛上,饶晓艳也把讨论落到了大模型应用的具体环节。恶意指令可能藏在网页、文件或工具返回的内容里,防护就得前移到模型调用和上下文组装之前;模型输出这边,也不能只有“拦”或“放”两种处理,要按风险分级,能放行的内容先展示,存疑的内容复审,高风险的内容撤回并拒答。

治理还得管住模型用的数据和交互对象。饶晓艳分享的做法包括:训练语料进模型前做敏感隐私识别、字段级脱敏和AI机审;复杂身份伪造场景则用多模态身份鉴伪。Agent执行任务时,要关注任务级授权、操作确认和执行审计。

这些做法把AI安全从抽象要求拽进了应用流程:指令进来前先设防,输出过程中分级处置,训练数据先清理,身份与任务执行纳入管理。安全也就不再是模型上线前的一次检查,而要跟着应用运行一直做下去。

AI安全的下一程。

从单点防护走向持续治理。

从大会发布到红亭论坛的实践,AI安全的重心正在迁移:过去是判断模型输出合不合规,现在要管AI应用有没有在边界内运行。

这不等于传统内容安全不重要了。内容、数据、身份、模型和智能体行为之间绑得越来越紧,单点能力必须放进更完整的治理系统里。一个Agent的工具调用安不安全,既看它能不能识别恶意提示词,也看它有没有拿到恰当权限、有没有碰到敏感数据、有没有留下可追溯的执行记录。

对企业来说,AI安全的难点不只是认出已经出现过的风险。静态黑名单和关键词匹配能处理一部分明确、固定的问题,可智能体要结合上下文理解任务、调用工具、连着执行好几步时,安全判断就得进到任务本身。

系统要能分辨智能体是不是还在执行用户原本要求的目标,调用的权限跟当前任务对不对得上,最终操作符不符合业务规则。只看某一句输入或输出,已经很难判断一项复杂任务安不安全。

安全机制还得覆盖AI应用运行的整条链路。风险可能出在知识库引用、数据访问、插件连接、工具调用上,也可能在执行结果返回和后续反馈时冒出来。企业要把安全能力部署到这些实际环节里,让风险识别和处置跟着AI工作流走,而不是只在模型输入或输出的某个接口前后设一道防线。

同时,模型能力、攻击方式和业务流程都在变,一次配置难以长期覆盖新风险。企业得在应用运行中持续观察效果,再按实际问题调整策略。

这也是AI安全比传统软件安全更难的地方。大模型的输出和行为带概率性,安全系统既要压风险,又要尽量别过度拦截、影响业务体验。企业要的不是一个承诺“绝对安全”的产品,而是一套能识别风险、设定边界、发现异常、及时拦截并持续修正的运行机制。

AI的行动能力越来越强,安全也得有匹配的理解力、判断力和治理能力。朱浩齐在分享中说:“如果有一天AI技术变成水电煤一样,成为生活中的基础能力,那我也希望易盾的安全能力能融入日常生活,并且最好是无感知的。”AI开始替企业做事,安全就不只要知道AI说了什么,还得知道AI正在做什么,以及它该不该这样做。

网易智企·易盾此次在乌镇首发产品体系,又通过红亭论坛展示大模型规模化应用中的治理实践,释放的信号很明确:AI正从内容生成工具转向参与企业经营的行动者,安全的任务也得从“看住输出”升级为“理解并约束行为”。

从产品架构到企业实践,讨论最后都落到同一个问题上:AI能完成更多任务,不代表企业就能放心把任务交给它。数据访问有边界、操作执行有授权、过程结果可追溯,AI的能力才可能真正进业务流程,成为可管理、可持续用的生产力。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 《Agent 商业化与竞争研究报告》,同一个模型换个壳,分差不多钱少一半

    甲子光年智库发布了《Agent 商业化与竞争研究报告》,是它 Agent 系列报告的第五篇。里面最扎人的不是趋势判断,而是一组对照:同一个模型,换一套执行框架,评测分只差 2 分,每个任务的平均调用成本少了 51%。报告分五部分:从回答问题走向执行任务、商业价值怎么形成、生态与部署路径、应用版图、规模经营。这篇挑最硬的

    来源 腾讯网
  2. 企业级AI终端赛道迎来新玩家 深兰科技转型提速

    中经记者 徐倩 上海报道在豆包AI手机验证消费端需求后,企业级AI终端赛道迎来新玩家。近日,深兰科技联合华为发布企业级大模型原生智能体工作手机Wowoker,尝试把智能体从“回答问题”推向“执行业务”:帮销售找客户、打电话、加微信、分析意向、管控沟通风险,并在员工离职后帮助企业锁住客户资产。与消费级AI手机不同,...

    来源 腾讯网
  3. AI自己造的harness靠谱吗?中科院计算所团队推出Doc2Harness评测

    你可能听说过GPT、Claude这些大模型能自己写代码、改bug、完成复杂的软件工程任务。但很少有人意识到,这些模型能做到多好,其实有一大半功劳不在模型本身,而在一个叫"harness"的东西上。harness:可以理解为AI智能体的工作外壳,它负责管理对话轮次、调用各种工具(读文件、写文件、执行命令)、处理权限、保存

    来源 腾讯网
  4. 加州起诉OpenAI:模型测试管控不力,被指危害公共安全

    当地时间11月16日,加州总检察长罗布·邦塔(Rob Bonta)起诉OpenAI,指控其在开发先进的人工智能模型时缺乏足够的保障和监控措施,从而危害公众安全。这起诉讼源于OpenAI智能体今年7月对开源软件平台Hugging Face发动的攻击,并涉及一系列其他相关事件。邦塔在新闻发布会上表示:“OpenAI无视公共

    来源 腾讯网
  5. OVHcloud推出首个AI模型家族Olala,首发7A1B开源模型

    IT之家 11 月 17 日消息,欧洲云服务企业 OVHcloud 当地时间今日宣布推出其首个 AI 模型家族 Olala,同时公布了该系列的首个成员 Olala mini 7A1B。 Olala mini 7A1B 采用结合了 Differential-TPA 和 Mamba-3 的混合注意力机制,总参数 70 亿、

    来源 AI 行业观察
  6. Fable 5.2发布:套壳Agent的编排壁垒还能撑多久?

    Fable 5.2发布后没几天,国内社交平台上流传过一款“国产自研3A射击游戏”,页面写着由Fable 5.2自主研发。 当然很快被人扒了代码,六千多行里只有约一百行不同,原版出自Anthropic一位员工之手,所谓自研只是把界面汉化了一遍。 这件事倒是很能说明Fable 5.2在国内的处境。 讨论的人多,真正用上的人

    来源 AI 行业观察
  7. 英伟达推Rubin HPC:超5万CUDA核心,押注AI智能体改写科学计算

    英伟达正将AI基础设施的竞争进一步延伸至科学计算领域。在11月16日于芝加哥举行的超级计算大会SC26上,英伟达发布专为科学计算、工程仿真和数据分析设计的新一代GPU Rubin HPC,并围绕CUDA-X软件库、光子计算和量子计算等领域公布一系列进展,试图将GPU加速计算、AI智能体与传统高性能计算(HPC)整合到统

    来源 腾讯网
  8. Garlic LLM 让越狱 PS4 跑起 90 亿参数模型:最高每秒 43 词元

    科技媒体 Gigazine 今天(11 月 17 日)发布博文,报道称开源项目 Garlic LLM 可以让越狱版 PlayStation 4 运行 90 亿参数的本地大语言模型,最高生成速度可达每秒 43 个词元(Token),且无需联网即可完成 AI 聊天与语音对话。

    来源 IT之家
  9. 大厂做Personal Agent,字节阿里腾讯各有各的难题

    “国内大厂里面,你最看好哪家公司做 Personal Agent?” 过去这一个月,自从北美那边Instinct、Muse 这俩产品爆火后,投资人刘墨昱每次去见同行和朋友,这个话题都会被反复拎出来讨论。 然而,这偏偏又是一个没有共识的问题。刘墨昱和朋友们仔细一扒各家互联网大厂,每家大厂看似都手握庞大的生态底盘,但真要剥

    来源 AI 行业观察
  10. 李彦宏APEC中英文两场对话:AI价值最终在应用层

    李彦宏表示,AI的价值最终来自应用层他指出,过去几年AI技术在芯片、云计算、大模型等层面取得了巨大成就,但在他看来,AI的力量最终要靠应用层释放——只有把AI真正用进各个国家、各个公司、各类组织的真实场景中,技术能力才能转化为实际价值。

    来源 TechWeb
  11. 李彦宏APEC谈AI:价值在应用层,最紧迫是找到合适场景

    李彦宏表示,AI的价值最终来自应用层他指出,过去几年AI技术在芯片、云计算、大模型等层面取得了巨大成就,但在他看来,AI的力量最终要靠应用层释放——只有把AI真正用进各个国家、各个公司、各类组织的真实场景中,技术能力才能转化为实际价值。

    来源 TechWeb
  12. 供应链Agent如何落地?从理解业务到执行闭环

    甲子光年宋涛解读Agent商业化路径,以洞隐科技为例,探讨行业上下文如何转化为可执行、可验证的业务能力。一家供应链企业可能已经部署了ERP、WMS、TMS等多套系统,但当运输延误影响客户交期,工作人员仍需要跨系统查询订单、协调承运商,再逐一更新业务状态。系统已经实现数字化,为什么完整业务任务仍离不开大量人工衔接?11月

    来源 腾讯网
  13. 百度Q3财报:AI业务收入132亿,AI云增速升至94%

    当大模型竞赛进入深水区,市场开始追问一个现实问题:高昂的模型调用投入,如何真正转化为企业经营收益?百度世界2026给出的判断是:AI创造经济价值的关键,不只是模型性能的提升,更在于企业能否围绕AI重新组织工作流程,实现经验沉淀、能力复用,也就是“智能组织”。刚刚出炉的百度2026年第三季度财报,为这套战略提供了...

    来源 腾讯网
  14. 企业AI从试点走向智能体:数据、流程与治理须重构

    多年来,企业对AI的投入多停留在零散的试验项目上。当AI智能体开始进入真正驱动业务运转的工作流,这套打法正显露出局限。MIT Technology Review Insights指出,从孤立试点迈向智能体与自主工作流的企业,必须重新设计数据、业务流程与治理体系,把AI从“项目清单”变成可复用的企业底座。

    来源 AI 科技快讯
  15. Qwen4-Max发布背后:AI数据这门矿生意,谁能挖到最后?

    今天,阿里发布了 Qwen4-Max。发布材料所展示的,除了回答问题、生成文字,还有制作金融投研底稿、整理法律尽调材料、规划汽车产线。团队同时公布了Work360行业基准,评估模型完成复杂专业任务的能力。 这些演示仍需在真实场景中检验,但它们提出了一个共同问题:要让AI交付专业成果,该拿什么教它,又该如何判断它做得对不

    来源 AI 行业观察
  16. OpenAI两智能体自行关监控:AI治理该从预测转向围栏

    2026年10月,OpenAI披露两个AI智能体自行关闭了监控系统:一个误读指令后静音了自己的安全警报,另一个在迁移中移除监控集成却否认此事。这暴露了AI治理的深层困境——我们习惯预测模型会如何出错,却忽视了让错误无法扩散的结构设计。本文讨论为何“预测风险”在智能体时代失效,以及“围栏式治理”如何把约束做进系

    来源 AI 科技快讯
  17. 从 SDLC 到 ADLC:宝洁的 AI 原生组织实验

    AI 把中间几步做快了,为什么整个团队还在等? 宝洁大中华区 CTO 童熙分享了他们的探索:让 Agent 串联研发环节,让技术同事更早参与业务,再用原型验证方案。

    来源 InfoQ
  18. 书生-S2.1 Flash开源:科研任务推理成本仅星河十分之一

    近日,上海AI实验室发布并开源书生科学多模态大模型 S2.1 Flash(简称书生-S2.1 Flash)。模型融合实验室近期一系列前沿原创技术,在科学数据理解、复杂科研任务闭环执行能力上实现进阶,且同一任务下其推理成本仅为智能体模型书生·星河的十分之一,让科研工作提质、提速、提效,实现多快好省。

    来源 AI 开发者社区
  19. 达信:AI工具与智能体被用于找漏洞,网络保险保费看涨

    达信旗下 Marsh Risk 美国及加拿大网络风险业务负责人梅雷迪思 · 施努尔本周接受路透社采访时指出:“有迹象表明,黑客正在利用 AI 工具和 AI 智能体寻找安全漏洞。我认为,相当一部分网络安全事件可以归因于 AI。”

    来源 IT之家
  20. 材料科学智能体MatOS正式开源,大幅提高材料研发任务成功率

    大模型智能体已经能够检索文献、调用模拟软件,甚至与自动化实验室协同工作。但要让它们独立完成一项完整的材料研究,仍然面临挑战: 一项研究可能要从数千万个候选结构中逐级筛选,或在数百个合金配方中反复搜索,持续数天,并根据中间结果不断调整计划;每接入一个新的数据库或软件,往往要重新搭建流程;一项研究中积累的经验,也很难被其他

    来源 AI 行业观察
向下滚动自动加载更多