网易智企发布双向AI安全架构,Agent越权风险怎么治?
“当AI从“回答问题”走向“执行任务”,安全治理的边界也必须同步延伸。“数据安全”、“内容审核”曾是企业讨论AI风险时最常见的关键词。但当AI开始读取内部资料、调用外部工具、连接业务系统,甚至按目标完成一连串任务,问题已不只是模型会不会说错话,而是它会不会做错事。11月3日,在2026年世界互联网大会“互联网之光”博览
当AI从“回答问题”转向“执行任务”,安全治理的边界也得跟着往外扩。
过去企业聊AI风险,关键词多半是“数据安全”“内容审核”。可如今AI能读内部资料、调外部工具、接业务系统,甚至照着目标把一连串任务做完,大家担心的事就变了:不只是模型会不会说错话,而是它会不会做错事。
11月3日,2026年世界互联网大会“互联网之光”博览会上,网易智企首发基于易盾“AI赋能安全×安全保障AI”双向架构的产品。配合两场分享,他们给出的核心判断是:AI安全不能只在模型输出端“把关”,得贯穿AI应用的运行过程。一头用AI提升安全能力;另一头把安全机制铺到内容与数据、身份交互、权限管理、工具调用和行为执行上。AI越贴近企业真实业务,安全就越不能停在外围,而要进入具体场景和工作流程,成为AI应用规模化运行的基础治理能力。
双向AI安全架构:构建面向AI原生时代的安全体系
生成式AI刚起来那会儿,干的活大多是问答、写作、搜索和内容生成。企业的安全关注点也比较集中:生成内容违不违规,回答里有没有敏感信息,模型会不会被不当提示词带偏。
后来AI进了营销、客服、办公、研发、知识库、身份核验和交易运营等业务链路,风险对象就变了。Agent越权执行、
内容审核能判断一段话合不合规,却未必答得了一个智能体有没有理解原始任务、有没有被上下文里的恶意指令改了目标、有没有调用不该调用的工具、有没有在权限之外动过手。AI从“说”走向“做”,安全治理就得面对这道新题。
朱浩齐提到,传统安全防外部入侵,靠的多是门锁、门禁这类办法;AI进了业务之后,风险还可能来自拥有一定权限、能操作系统的AI本身。AI一旦在执行环节出偏差,影响可能不止于内容层面,还会蔓延到账户、数据和业务系统。
网易智企·易盾在大会上提出的“
AI for 安全:用AI重新提升安全能力。依托垂类模型、多Agent协同与多模态理解,AI能自动分析内容与威胁数据、生成并验证安全策略,安全人员不必再一条条人工写规则,转而验收确认运行结果。朱浩齐在现场说:“要用AI来对抗,要用魔法打败魔法。靠人去对抗AI,是根本对抗不过来的。”
安全 for AI:把安全能力用在让 AI 可控运转上。针对大模型的输入输出、身份交互、数据访问,以及智能体的工具调用和行为执行,搭建内容检测、意图识别、权限控制、风险拦截、审计追踪这几类能力,使 AI 在清晰划定的范围内活动。
前者管的是安全能力怎么跟上AI带来的新型攻击和风险规模,后者管的是AI应用自身在企业环境里怎么受控运行。两个方向由统一的AI安全能力底座撑着,涵盖风险识别、实时防护、评测决策与持续运营,帮企业从单点风险防控走向覆盖内容、身份、业务、模型与智能体的体系化治理。
内容、身份与行为:三层体系覆盖AI应用关键环节
双向架构回答的是AI安全“为什么需要升级”,产品体系回答的则是企业究竟要治理哪些风险。
网易智企·易盾将
第一层是内容与数据安全。文本、图片、音频、视频、直播、文件等多种内容形态,
这套做法真正要做的,是重新划分机器与人的分工,而非用 AI 把人工审核整个顶掉。高频、重复、标准化程度偏高的内容交给机器处理;复杂语境、边界判断和高风险处置,则由人工集中应对。
网易智企提供的一个投诉工单审核案例里,月均工单量超过250万,采用“CMA智能体初审+人工复核”后,平均出审时长由纯人工审核的35.7分钟缩短至12.3分钟,审核准确率为99.2%。这个结果只对应特定客户场景,不能外推到所有内容审核任务,但也说明内容安全产品的价值正从简单筛查走向流程协同。
第二层是交互与身份安全。AI换脸、屏幕翻拍、打印照片、3D面具、摄像头劫持和视频注入等攻击方式,让“看起来像真人”不再等于“就是本人”。
据了解,
第三层指向AI模型与智能体安全。智能体能读资料、连系统、调工具、执行任务,治理对象就不只是输入的一句话或输出的一段文字,而是“接收什么、理解什么、可以做什么、实际做了什么”的完整任务链路。
易盾通过MCP供应链安全检测、敏感数据防泄漏等问题。
内容、身份、行为三层体系有个共通之处:安全对象被拉到了AI应用运行过程里。内容合不合规、身份真不真、权限合不合理、操作是否还对准原始目标,这些问题在企业AI应用中互相牵连,一起决定一个智能体值不值得拿到更多能力。
产品体系之外,还得看业务流程。
红亭论坛上给出的治理实践。
产品体系能覆盖哪些东西,只是安全治理的头一层。企业真正要回答的,是安全能力怎么进到具体业务流程里,并且在AI应用跑起来的过程中一直起作用。
红亭安全论坛上,网易智企·易盾内容安全负责人饶晓艳围绕《大模型规模化应用中的安全治理实践》做分享,把企业AI应用分成三个阶段。
AIGC内容生产阶段,风险更多落在内容的量和传播速度上,治理重点是内容审核、生成标识、传播追溯;到了知识与业务辅助阶段,企业更在意数据风险,治理重点转向最小数据权限、知识溯源、人工复核;AI再往前走到Agent任务执行阶段,风险就落到具体动作上,任务级授权、操作确认、执行审计成了企业要盯的事。
这个划分说明一件事:AI风险不是静止的。企业不是部署完大模型,再补一套统一规则就完事。阶段不同,风险对象不同,安全管理动作也得跟着变。
饶晓艳在论坛上说:“整个AI的风险是越来越高的:AI进入业务越来越深,攻击门槛越来越低,攻击速度越来越快。”
也就是说,企业不能只在模型输入前或输出后设一道单点防护。提示词攻击可能伪装成普通问答、角色设定,也可能藏在网页、文件、API、工具或
红亭安全论坛上,饶晓艳也把讨论落到了大模型应用的具体环节。恶意指令可能藏在网页、文件或工具返回的内容里,防护就得前移到模型调用和上下文组装之前;模型输出这边,也不能只有“拦”或“放”两种处理,要按风险分级,能放行的内容先展示,存疑的内容复审,高风险的内容撤回并拒答。
治理还得管住模型用的数据和交互对象。饶晓艳分享的做法包括:训练语料进模型前做敏感隐私识别、字段级脱敏和AI机审;复杂身份伪造场景则用多模态身份鉴伪。Agent执行任务时,要关注任务级授权、操作确认和执行审计。
这些做法把AI安全从抽象要求拽进了应用流程:指令进来前先设防,输出过程中分级处置,训练数据先清理,身份与任务执行纳入管理。安全也就不再是模型上线前的一次检查,而要跟着应用运行一直做下去。
AI安全的下一程。
从单点防护走向持续治理。
从大会发布到红亭论坛的实践,AI安全的重心正在迁移:过去是判断模型输出合不合规,现在要管AI应用有没有在边界内运行。
这不等于传统内容安全不重要了。内容、数据、身份、模型和智能体行为之间绑得越来越紧,单点能力必须放进更完整的治理系统里。一个Agent的工具调用安不安全,既看它能不能识别恶意提示词,也看它有没有拿到恰当权限、有没有碰到敏感数据、有没有留下可追溯的执行记录。
对企业来说,AI安全的难点不只是认出已经出现过的风险。静态黑名单和关键词匹配能处理一部分明确、固定的问题,可智能体要结合上下文理解任务、调用工具、连着执行好几步时,安全判断就得进到任务本身。
系统要能分辨智能体是不是还在执行用户原本要求的目标,调用的权限跟当前任务对不对得上,最终操作符不符合业务规则。只看某一句输入或输出,已经很难判断一项复杂任务安不安全。
安全机制还得覆盖AI应用运行的整条链路。风险可能出在知识库引用、数据访问、插件连接、工具调用上,也可能在执行结果返回和后续反馈时冒出来。企业要把安全能力部署到这些实际环节里,让风险识别和处置跟着AI工作流走,而不是只在模型输入或输出的某个接口前后设一道防线。
同时,模型能力、攻击方式和业务流程都在变,一次配置难以长期覆盖新风险。企业得在应用运行中持续观察效果,再按实际问题调整策略。
这也是AI安全比传统软件安全更难的地方。大模型的输出和行为带概率性,安全系统既要压风险,又要尽量别过度拦截、影响业务体验。企业要的不是一个承诺“绝对安全”的产品,而是一套能识别风险、设定边界、发现异常、及时拦截并持续修正的运行机制。
AI的行动能力越来越强,安全也得有匹配的理解力、判断力和治理能力。朱浩齐在分享中说:“如果有一天AI技术变成水电煤一样,成为生活中的基础能力,那我也希望易盾的安全能力能融入日常生活,并且最好是无感知的。”AI开始替企业做事,安全就不只要知道AI说了什么,还得知道AI正在做什么,以及它该不该这样做。
网易智企·易盾此次在乌镇首发产品体系,又通过红亭论坛展示大模型规模化应用中的治理实践,释放的信号很明确:AI正从内容生成工具转向参与企业经营的行动者,安全的任务也得从“看住输出”升级为“理解并约束行为”。
从产品架构到企业实践,讨论最后都落到同一个问题上:AI能完成更多任务,不代表企业就能放心把任务交给它。数据访问有边界、操作执行有授权、过程结果可追溯,AI的能力才可能真正进业务流程,成为可管理、可持续用的生产力。