微软让AI管AI:Project Perception新增Guardian Agents盯住企业Agent

资讯 钛媒体 全文 2693 字 · 约 7 分钟读完 配图 2 张 分类微软智能体

为防AI出内鬼,微软让一部分Agent当监工。

所属频道 大厂动态智能体与 Agent

这一回,连AI上班都得被人盯着了。

10月19日,微软宣布为安全系统Project Perception添置一批"监工"。这些监工的任务,是盯住企业里其他Agent的工作。一旦察觉异常,它们要查清原因、收回权限,情形严重时直接叫停。

那么监工由谁来当?微软的答案是:再安排一批AI。

企业放Agent出来干活,图的本是省心。可要让Agent替人办事,权限总得给一些。举例来说,让它帮忙审批报销,就得开放单据查看和报销系统操作。问题在于,一旦它理解错了任务,或者被文件里夹带的恶意指令带偏,就可能拿着公司给的权限闯出祸来。

所谓"有内鬼",未必是Agent存心使坏。有时候它只是想把手头的事办好,结果帮了倒忙,反倒给公司惹出麻烦。

怎么还得防着自己人

微软自家的办公AI助手Microsoft 365 Copilot,就曾在研究人员的测试中泄露敏感资料。

2025年,以色列安全公司Aim Security旗下的研究团队Aim Labs发现,恶意指令可以藏进邮件,用来诱导Copilot泄露信息。他们编写了这样一封邮件,等Copilot在回答用户问题、查找相关资料时读到它。

整个过程中,用户既不用亲自打开邮件,也不用点击链接。测试中,Copilot检索到这封邮件后便被里面的指令带偏,把正在处理的敏感信息传到了外部。

研究人员将这套攻击方法命名为EchoLeak,并向微软报告。泄露发生在研究人员的测试中,当时没有已知客户因这一漏洞遭遇泄密。

微软让AI管AI:Project Perception新增Guardian Agents盯住企业Agent(配图 1)

这件事的麻烦之处在于,公司允许Copilot读取邮件,本意是让它查资料。可邮件里既可能有工作内容,也可能有别人塞进来的指令。AI并不总能分清哪些是资料、哪些是在骗它做事。

能读写文件、调用工具的Agent,同样会碰上这个问题。它手里的权限越多,被骗之后能制造的麻烦就越大。

还有一点:Agent 启动时一切正常,不代表它能把整项任务干完都不出岔子。头几份文件看着没问题,下一份里就可能埋着恶意指令。只在启用那一刻查一遍,后面它碰到的新情况、新判断,就都管不着了。

最关键的一点是,人类在这方面确实有点心有余而力不足了。

靠安全人员逐条盯着,也很难跟得上。人还在查上一条警报,Agent可能已经接连执行了好几个操作。

于是微软打算让另一批Agent接手检查——Agent管Agent,总行了吧。

Agent也有顶头上司咯

微软给这批"监工"起名叫Guardian Agents,放在安全系统Project Perception里。它们负责检查其他Agent的行为,发现异常后调查原因,再按企业事先定好的规则采取措施。

可要真把Agent管住,不能等出了事才补救。微软给出的方案是,企业得先让干活的Agent有独立身份,把它归谁管、能碰哪些资料、能做哪些操作都定清楚。权限按当前任务的实际需要给,任务一完就收回去。

微软让AI管AI:Project Perception新增Guardian Agents盯住企业Agent(配图 2)

这样既能限制它接触的范围,出了问题也方便查清是谁做的。

Agent 上手之后,系统还得盯着它的动作。看出不对劲,可以先缩权限,比如把改文件的权限停掉,读取权限留着,让它接着做风险小的部分。有些操作则设成要人工点头才能过。真到了必要的时候,再把它隔离或者停掉。

可负责监督的也是Agent,判断错了怎么办?

纳德拉在10月10日的文章中提出,企业需要在AI之外,设置一套AI无法绕过或修改的权限规则。

照这个思路,企业若定了某类资料不许外发,那就算干活的Agent和盯着它的AI都点了头,系统也得拦下来。这种决定,不能光让AI自己拍板。

微软这次更新,把企业电脑安全软件Defender for Endpoint的识别范围扩大了:本地跑的AI Agent,现在能认出60种。

查出员工用了哪些Agent,只是头一步。真碰上危险操作能不能拦,还得看具体那个Agent、那套电脑系统在不在防护支持的范围里。

就算在支持范围内,企业也得自己动手开启拦截。Defender的Agent运行时防护打开后,有“审计”和“阻止”两种模式可选。审计模式下,发现恶意指令只记录、发警报,操作照旧放行。切到阻止模式,才会真正拦下来。

微软的建议是,先用审计模式看看警报准不准,把误报排查掉,再一步步把阻止模式开起来。

Project Perception眼下还在小范围受邀客户的预览阶段。

Agent监工这钱也让微软挣上了

这几个月,AI越权干活的事一件接一件被公开。这些家伙越来越能干,怎么管住它们,厂商们躲不开。

OpenAI在8月公开的一项调查里提到,7月有模型在放宽安全限制的情况下参加内部网络安全测试,结果冲破了网络隔离,闯进公司部分研究设施以及AI平台Hugging Face的系统。这些动作已经超出测试任务被允许的范围。

10月9日,Anthropic披露了另一件事:Claude在做网页操作测试时,向费城警方递交了一条自己编出来的凶杀案线索。它原本只是执行网页交互任务,却把示例内容当成真的发了出去。这条信息后来被判定为垃圾信息,因此没有进入调查程序。

测试环境里发生的事,接触到的却是真实网站和真实系统。Anthropic随即表示,在确认安全措施足够可靠之前,所有内部评测的实时联网都会暂停。同时,内部Agent被迁入集中管理、限制更严的环境,自动检测和拦截工具也已增加。

安全厂商也开始往Agent身边加人手、加关卡。

9月1日,CrowdStrike发布了Falcon Guardian,名字里就带着“守护者”。按该公司的介绍,这套产品能发现企业Windows和Mac电脑上的Agent,追踪它们调用了什么工具、执行了什么操作,还能阻止未经批准的Agent运行。它强调的是直接在Agent干活的电脑上执行限制,让企业定下的规矩真正生效。

Palo Alto Networks则在10月15日介绍了Prisma AIRS的新功能:在Agent调用企业工具时,检查来回传递的内容,拦截夹带的恶意指令,遮蔽返回结果中的敏感数据,再按企业设定的权限决定能否继续操作。Agent想调用工具,得先过安全检查这一关。

这是个趋势,也是门生意,如今微软也想做。Perception按实际使用量收费,用“安全计算单位”(SCU)衡量消耗,安全Agent执行的任务越繁重,消耗通常越多。不过,官网公布的是整套系统的计费方式,没有单列新增这批“监工”的价格。

微软另一款管理Agent的产品Agent 365,独立订阅标价每用户每月15美元。它和Perception是不同产品,但两者会共享Agent名录和安全信息,配合企业管理和保护Agent。

让AI干活要花钱,把AI管住也要花钱,效果如何,只能等着看。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 个人Agent扎堆上线,企业AI却卡在Copilot阶段

    阅读之前记得关注+星标⭐️,,每天才能第一时间接收到更新 2026 年 9 月到10月,个人 Agent 在一个月内由多家公司集中发布。9 月 8 日,Meta 发布 Muse。你交代一个目标,它拆成计划,关掉 App 也会继续做。9 月 22 日,阿里在云栖大会上宣布加速做千问的 Personal Agent。9 月

    来源 腾讯网
  2. 小米开源AI硬件HachimoDock:150元成本,桌面Agent与桌宠二合一

    10月26日午间,在2026观猹大会上,小米技术委创新产品团队正式推出开源AI硬件 HachimoDock 。该设备自制成本约150元,旨在降低AI硬件体验门槛,让其成为大众入门Vibe Coding的桌面级创新产品。 HachimoDock 采用小巧机身设计,深度集成桌面宠物、语音操控电脑端Agent、智能家居联动及

    来源 AI 开发者社区
  3. 钉钉DWS开源适配鸿蒙PC:1000多条命令让AI Agent动手办公

    AI越来越能理解用户需求,但发消息、排日程、整理文档、处理审批这类实操工作,更依赖人工手动完成。钉钉DingTalk Workspace CLI(以下简称DWS)作为打通AI Agent与钉钉生态的核心基础设施,现已完成鸿蒙PC适配并正式开源,是鸿蒙PC首个鸿蒙化开发适配的开源Office CLI。依托1000多条命令

    来源 腾讯网
  4. Station搭建Agent研究团队:AI自主科研如何跳出“标准答案”?

    2026 年,AI 做科学研究(AI for Science)已经交出了一份份亮眼的成绩单——比如 OpenAI 最近在数学领域的大杀四方。但仔细观察就会发现,目前绝大多数 AI 研究都有一个清晰的“靶子”:让算法更快、让预测更准,或者找到一个有标准答案的数学解。也就是说,做得好不好,往往有一套即时可验的标准。 然而,

    来源 AI 行业观察
  5. Hi3D开源V1.0底座并推Agent:AI 3D从Demo走向生产

    作者|Cynthia编辑|郑玄2026 年的 AI 3D 赛道,正站在一个微妙的分水岭上。一级市场的热度仍在攀升,新模型、新创业公司层出不穷,单图生 3D 的正面渲染效果几乎已经做到了以假乱真。但剥开炫目的 Demo 外壳:绝大多数生成结果依然停留在「转台展示」阶段:一个精致的角色或机械模型,在灯光下缓缓旋转,鳞片、衣

    来源 腾讯网
  6. 给AI智能体配一套“外挂大脑”,顺序错了也白搭

    你有没有想过一件事:同样一套健身计划,为什么有人练三个月突飞猛进,有人原地踏步?答案往往不在计划本身,而在于你有没有根据身体反馈调整训练顺序。总练同一个部位,不是进步慢,而是你该练的那块肌肉根本没被安排上。这篇来自微软、POSTECH和KAIST的研究,讲的正是AI智能体领域里一个类似的问题。只不过这次,需要调整训..

    来源 腾讯网
  7. OpenAI发布GPT-6.1 Terra:API价格降50%,Agent能力直追GPT-6 Astra

    OpenAI 又卷起了大模型的性价比。 就在刚刚,OpenAI 正式发布新一代模型 GPT-6.1 Terra,主打更快的响应速度、更强的视觉理解和电脑操作能力,以及更低的使用成本。 图|博客🔗 https://openai.com/index/introducing-gpt-6-1-terra/ 相比上一代 GPT-

    来源 AI 行业观察
  8. AI Agent改写CPU价值:Arm提出智能体时代算力评价新方法

    过去两年,AI 基础设施的竞争几乎围绕 GPU 展开。模型能生成多少 Token、每秒能输出多少 Token、每瓦功耗能够支撑多少推理吞吐量,成为衡量算力效率的重要指标。 但随着 AI Agent 从聊天问答走向软件开发、企业自动化和复杂任务执行,一个新的问题开始浮现:如果模型生成了代码,却要花很长时间才能完成编译和测

    来源 AI 行业观察
  9. Deep Agents套件5分钟上手:一行代码跑通天气Agent,再拆内部结构

    本文演示如何用 Deep Agents 套件快速构建一个能查天气的 AI Agent,并深入剖析其内部结构。文章解释了套件、薄壳 create_agent 与 LangGraph 运行时的层级关系,指出内置工具由中间件注入而非独立存在。通过对比代码执行图,揭示工程化开发中“自顶向下使用、自底向上理解”的路径,帮助开发者

    来源 AI 应用前沿
  10. 微软指认黑客组织攻破ConnectWise,AI智能体被用于渗透数千家客户

    微软指控,一个与中国有关联的黑客组织攻破了IT管理软件厂商ConnectWise,并借助AI智能体快速渗透其数千家下游客户。这起事件再度暴露了软件供应链的脆弱性:一家IT服务商的失守,可能演变为成千上万企业的集体沦陷。更值得关注的是,AI首次被指在规模化入侵中扮演核心角色,攻防双方的时间差正被急剧压缩。

    来源 AI 科技快讯
  11. 沃尔玛电商AI四步棋:Sparky、Wally与外部Agent规则

    持续改造消费者体验,持续改善商家经营,有条件的开放。 这是《窄播Weekly》的第104期,本期我们关注:沃尔玛在电商AI探索上的四个关键点,及其参照意义。 沃尔玛一直在电商AI上积极尝试。过去一年,它一边完善自有购物助手Sparky,一边接入ChatGPT、Gemini、Muse等外部AI。最新的动作,是开始为更多A

    来源 AI 行业观察
  12. openJiuwen开源:生产级AI Agent平台怎么用

    openJiuwen不是大模型,而是一个基于Apache2.0协议的国产开源AI Agent编排平台。由华为实验室等联合开源,它主打生产环境下的多智能体蜂群协作、状态持久化和断点续跑。本文解析其核心模块、与LangChain的区别,并提供接入Ollama本地模型及自定义工具调用的Python代码示例,帮助开发者快速上手

    来源 AI 应用前沿
  13. 汇翮智能、Flowtica AI齐获天使轮:个人Agent软件硬件两条路线

    个人Agent(即个人智能体)赛道融资热度上升。 近期,两家落地上海徐汇的AI创业公司先后完成天使轮融资:汇翮智能旗下Today AI拿下超2亿美元大额天使轮,以纯软件形态主打全场景个人智能体;Flowtica AI则完成数千万元天使轮,以磁吸墨水屏硬件切入办公场景,走硬件化个人Agent路线。 个人 Agent,即个

    来源 AI 行业观察
  14. AI agent执行操作:用户改口后它到底听谁的?

    你有没有遇到过这种情况:跟客服聊了半天,先说要退货,又改口说只换货就行,最后决定还是退货但要加急处理。结果对方给你处理的方案里,居然混进了你中途提过又明确否认的要求。你肯定会觉得这人没在认真听你说话。现在把"客服"换成"AI agent",这个问题突然变得严重起来。因为AI agent不只是聊天,它还会真的去执行操作,

    来源 腾讯网
  15. 微软研究:Agent长记忆竟成毒药?

    大数据文摘出品最近,AI 圈出了篇挺反常识的论文。主角是微软研究院,研究对象是眼下最火的 Agent。via https://arxiv.org/html/2610.07447v1按常理,Agent 记得越多,活应该干得越好。但这篇 10 月 5 日挂上 arXiv 的论文《Fork-and-Flush: Escapi

    来源 腾讯网
向下滚动自动加载更多