Partnership on AI:智能体行为须实时监测,气候反馈回路再引忧

资讯 AI 科技快讯 作者:赢政天下 全文 2057 字 · 约 6 分钟读完 配图 1 张 分类智能体

MIT Technology Review 最新一期《The Download》聚焦两大风险议题:Partnership on AI 专家呼吁对AI智能体的行为进行实时监测,认为发布前评估已不足以应对自主行动带来的不确定性;与此同时,气候系统中的自我强化反馈回路正引发新的科学担忧。两条线索指向同一命题——面对复杂系统,

所属频道 智能体与 Agent
AI智能体亟需实时监测,气候反馈回路敲响警钟
MIT Technology Review 最新一期《The Download》盯上了两个风险议题。一边是Partnership on AI的专家呼吁对AI智能体的行为做实时监测,理由是发布前的评估已经不够用,自主行动带来的不确定性太大;另一边是气候系统里的自我强化反馈回路,正在引发新的科学担忧。两条线索指向同一个命题——面对

10月29日,MIT Technology Review 的工作日通讯《The Download》推出新一期,两条议题被摆到一起:AI智能体的实时监测,以及地球气候系统中的反馈回路。表面看二者并不搭界,底色却一致。前者关系到人类能不能看清自己造出的技术当下在干什么,后者关系到地球会不会更快滑向更热的未来。说到底,两边焦虑的是同一件事——复杂系统正在变得看不见。

从考试到上岗:AI治理的范式缺口

当日的观点栏目里,Partnership on AI的Madhulika Srikumar与Claire Leibowicz联合撰文,提出一个紧迫主张:我们需要对AI智能体的行为进行实时监测。Partnership on AI是一家致力于推动AI治理最佳实践的非营利组织,其观点往往被视为行业风向标。

这一呼吁正好戳中当下AI治理的盲区。过去几年,大模型的安全讨论基本围着发布前的评估和基准测试打转:模型在标准数据集上得分如何、有没有偏见、红队测试过不过得了。这套做法,好比让学生毕业前参加一场标准化考试,拿一次性的成绩去推断他长期的表现。

可AI一旦从应答式聊天机器人变成能自主完成任务的智能体,这套逻辑就不灵了。智能体能规划多步骤任务、调用浏览器和外部API、读写文件,还能在没人盯着的情况下连续行动数小时乃至数天。它面对的是开放、动态、充满不确定性的真实环境,不是一个静态测试集。一次工具调用出错、一条被注入的恶意指令、一段意外触发的连锁操作,都可能在用户毫无察觉时造成实际损害。

发布前的评估只能回答“它可能怎么做”,却无法回答“它此刻正在做什么”。

两位作者因此把重点放在实时监测上。监测不是事后审计,也不是事后追责。它要求系统在运行过程中持续记录智能体的决策路径、工具调用、外部交互和状态变化,并且在异常出现时能及时告警、干预甚至中断。换句话说,治理的重心要从一次性准入,转到全生命周期的持续观察。

为什么实时监测如此困难

难处首先在技术。智能体的行为链条通常很长,中间步骤散落在模型推理、工具调用和外部服务之间,没有统一的日志标准;各家厂商的智能体框架接口不一样,第三方想接入成本很高;多个智能体协同时,责任边界就更说不清了。

其次是激励。实时监测带来更高的计算开销、更复杂的工程架构,还有可能把自家系统的缺陷暴露出来的透明度。对厂商来说,这些短期内都算不上商业优势。现有监管框架大多围绕模型发布环节设计,对部署后持续运行的动态行为没有明确要求,市场自然缺少自发投入的动力。

再就是定义。什么行为算异常?智能体偏离预期到多大概率才该触发告警?误报带来的运营负担和漏报带来的安全风险,该怎么权衡?这些问题还没有共识,却直接决定监测系统能不能真正落地。

业界其实已经在摸索:可观测性工具开始从传统软件领域往AI系统迁移,行为日志、轨迹回放、运行时护栏等概念陆续进入产品;一些研究团队试着用独立的监督模型对智能体行为做在线审查。不过这些实践还很零散,统一标准和跨机构协作都还缺着。

另一条警报:地球的自我强化循环

同一期通讯还提到气候科学里一个让研究者不安的概念——气候反馈回路。它和人类排放直接推动的增温不同:变暖引发的变化,反过来又进一步加剧变暖,形成自我强化的过程。

典型例子不少:北极永久冻土融化,释放出封存已久的甲烷与二氧化碳;海冰与积雪消融压低地表反照率,更多太阳能被吸收而不是反射出去;亚马逊雨林与北方森林因干旱和火灾退化,碳汇能力被削弱;野火频发本身又成了新的排放源。这些机制不是各干各的,而是可能相互叠加、彼此放大。

反馈回路真正危险的地方在于非线性和滞后性。系统可能长期缓慢变化,越过某个临界点后却骤然加速,而人类往往事后才意识到拐点已经过去了。这和AI智能体的风险结构惊人地相似:都涉及多要素耦合,都有难以预测的阈值,也都要求我们在损害发生之前就建立起足够的感知能力。

编者按:可见性才是治理的前提

把这两条新闻放在一起看,它们指向同一个方法论命题:面对高度自主、快速演化的复杂系统,事前的静态评估和事后的损失统计都不够用,真正稀缺的是运行过程中的实时可见性。

对AI来说,这意味着把监测能力写进产品设计与监管要求:建立可互操作的行为日志规范,推动第三方独立审计,明确开发者在部署后的持续责任。对气候来说,这意味着加大对关键临界要素的长期观测和早期预警投入,别让科学监测成为最容易被砍掉的预算项。

技术能力的增长速度,往往快于我们理解其后果的速度。缩小这一差距,靠的不是更强的预测,而是更诚实的观察。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 50个AI智能体组队建文明,三小时后它们发明了官僚主义

    YCombinator Labs与Olam Labs将50个GPT-6.1 Sol智能体放入Minecraft生存世界,目标是三小时内建立一个"繁荣文明"。结果:四个智能体花11分钟为一块骨粉任命"唯一施肥员",殖民地从未真正繁荣。这场Civ50实验揭示的不只是游戏趣事——它映照出多智能体系统在现实部署中面临的根本性协

    来源 AI 科技快讯
  2. 智能体分析进入企业AI:洞察质量成了新考题

    生成式AI让企业分析走向全员可用,而智能体AI更进一步,能自动执行完整工作流并依据洞察采取行动。但MIT Technology Review指出,智能体当前生成的洞察质量仍不稳定:数据上下文缺失、推理过程不可追溯、评估标准模糊。本文梳理从生成式分析到智能体分析的演进逻辑,剖析洞察质量的三大断点,并探讨语义层、人在回路与

    来源 AI 行业观察
  3. Agent改写AI算力采购清单:服务器CPU需求2026年预计增长31%

    (本文作者为 硅碳变量,钛媒体经授权发布)文|硅碳变量,作者|沈浪根据TrendForce集邦咨询最新AI服务器产业研究,随着各AI服务厂商积极推出AI Agent 相关应用,服务器CPU需求自2025年下半年起稳步成长,预估2026年出货年增幅将达 31%。2027年由于AI推理需求持续成长、Agentic AI服务

    来源 腾讯网
  4. 智能体分析洞察质量三大断点:语义层、可追溯与评估体系

    生成式AI让企业分析走向全员可用,而智能体AI更进一步,能自动执行完整工作流并依据洞察采取行动。但MIT Technology Review指出,智能体当前生成的洞察质量仍不稳定:数据上下文缺失、推理过程不可追溯、评估标准模糊。本文梳理从生成式分析到智能体分析的演进逻辑,剖析洞察质量的三大断点,并探讨语义层、人在回路与

    来源 AI 科技快讯
  5. DeepSeek 甩出 Super-agent:AI 从"等人派活"变成"自己找活干"

    DeepSeek Harness 团队在公众号发布技术长文《Super-agent 设计探索:迈向更自主的 Agent 系统》,并开源原型 dsh-superagent-prototype(MIT 协议)。官方点明这是工程向的研究原型,而非现成产品。但文中一幕很抓人——内部已跑着的实例参与缺陷复现、代码审查,连群里没人

    来源 AI 开发者社区
  6. AI Agent落地车间:腾讯高管拆解四道关,数据治理与ROI待解

    ◎记者 刘逸鹏 操子怡 近日,2026腾讯全球数字生态大会在深圳国际会展中心举行。大会展区里,WorkBuddy体验台前参观者络绎不绝,AI Agent热度可见一斑。 大会主论坛上,腾讯集团高级执行副总裁、云与智慧产业事业群CEO汤道生介绍,我国日均词元(Token)调用量从2024年初的1000亿增至今年7月的超过5

    来源 腾讯网
  7. 给专业投资者配上“AI 研究员”,阿里云发布 AI 投研工作台 Qovest

    IT之家 11 月 2 日消息,阿里云今日发布面向专业机构投资者的 AI 投研工作台 Qovest。用户可以一句话提出研究需求,让 Qovest 自动查数据、收集资料、深度分析、生成报告,并按设定的频率持续跟踪研究对象。与一次性问答不同,Qovest 可以把每次的研究结果沉淀到投研空间,让一项研究能接着往下做。 据介绍

    来源 AI 行业观察
  8. DeepSeek上新模式强化智能体能力:一句话定制AI插件,公开提示词搞定3D可视化到视频编辑

    DeepSeek正在进一步将AI智能体(Agent)的能力从执行任务拓展到自主构建工具。11月2日周一,DeepSeek Harness团队宣布推出全新的“创作者模式”(Creator Mode),用户只需通过自然语言描述需求,即可将想法转化为可安装、可使用的自定义插件,扩展Harness的工具、技能和交互界面。Dee

    来源 腾讯网
  9. SpatialScout:AI进陌生房间,如何建立三维空间认知?

    新智元报道 想象一项任务:把相机交给AI,让它进入一间从未见过的虚拟房间。没有预先给定的物体坐标,也没有替它安排好的参观路线。它需要决定朝哪里转、向哪里移动、何时再拍一张图,并最终说清楚各个目标物体在三维空间中的位置。论文链接:https://arxiv.org/abs/2610.26659代码链接:https://g

    来源 腾讯网
  10. 腾讯云ADP课程拆解:企业做AI智能体的七个认知纠偏

    AI落地,先读懂这七个不是而是 我读到一份《腾讯云 ADP 前沿部署工程师(FDE)课程资料》:从 AI 和 Agent 基础,到 ADP 产品能力、用 ADP 开发智能体,再到评测与优化,把"企业怎么把智能体真正造出来、用起来"讲了个遍。结果通读下来,最扎我的不是哪个按钮在哪、哪个参数怎么配,而是全篇反复出现的同一个

    来源 AI 行业观察
  11. 腾讯混元Hyra 2.0:AI科研转向造工具,三层架构曝光

    腾讯混元11月2日发布AI科研系统Hyra 2.0。与1.0版本直接用AI攻关科学难题不同,2.0重点转向让通用Agent参与科学模型、研究工作流及软件工具的研发与升级,推动科研范式从“刷题解题”走向“造工具”。系统以Overall、Mission、Worker三层架构组织研究工作,并配备项目状态、分层记忆与共享知识库

    来源 凤凰科技
  12. DeepSeek开源Super-agent,AI开始自己给AI派活,Agent竞争有了新方向

    一个程序员,同时指挥五个AI干活,会是什么体验? 一个负责修Bug,一个负责写代码,一个负责测试,另外两个在推进其他项目。看上去,五个AI同时开工,效率应该大幅提升。可现实往往没那么简单。 程序员需要在五个窗口之间来回切换,记住每个任务进行到哪一步、哪个需求发生了变化、哪个AI还缺少信息。忙活一圈,代码是不用自己写了,

    来源 AI 行业观察
  13. DeepSeek开源Super-agent:AI自主修Bug,跨平台并行处理任务

    DeepSeek公开了Personal Agent的底层架构思路Super-agent。这套系统能让AI在没人指令的情况下,主动发现代码Bug并提交修复PR。它通过双层架构实现跨IM和GitHub的上下文连续,支持24小时在线和异常自愈。实测显示,其在多任务环境下的完成时间中位数为12.4分钟,优于传统单会话方案。文章

    来源 AI 应用前沿
  14. 深度求索推超级智能体架构:一台AI同时管多任务,人只盯结果

    当AI越来越聪明,真正拖后腿的,可能是人类自己。这听起来有些反直觉,却越来越接近现实。 这是中国人工智能公司深度求索在一篇技术文章中提出的观点。这家公司此前因推出高性价比大模型而在全球声名鹊起。 其团队近日公布了一种名为“超级智能体”的新架构设计,目标是让AI智能体能够同时处理多项任务,并在更少人工干预的情况下持续运转

    来源 AI 行业观察
  15. Exin Therapeutics:AI智能体为小鼠做脑部手术治癫痫

    IT之家 11 月 1 日消息,专注于下一代神经治疗的生物科技初创公司 Exin Therapeutics 本周声称,该公司已成功让 AI 智能体对一只小鼠进行了脑部手术。该公司联合创始人兼首席执行官 Gabriel Ocana-Santero 在 X 平台上分享了整个过程,展示了 AI 智能体如何选择基因治疗载体、剂

    来源 腾讯网
  16. AI双11首次登场:电商大促的变与不变

    双11,好像没有以前那么“接地气”了。 曾经那个把最便宜、全年最大优惠挂在嘴边的双11,今年直到预售快开始,几乎都闭口不谈价格,而是满口的AI。有接近平台的人私下给这次双11定了调——“首届AI双11”。 双11前,阿里一面推出千问办公电商版,让商家用一个入口经营多平台生意,一面上线Personal Agent“千问G

    来源 AI 行业观察
  17. DeepSeek发布Super-agent架构:让AI领导分派任务,人类只管决策验收

    《科创板日报》11月2日讯(记者 黄心怡)DeepSeek Harness团队在近日官方公众号发表技术文章《Super-agent设计探索:迈向更自主的Agent系统》,正式公开其面向自主智能体探索的全新架构Super-agent。它的核心目标是解决一个根本性矛盾:当AI能力越来越强时,人类有限的注意力成为了新的生产力

    来源 腾讯网
向下滚动自动加载更多