OpenAI上线“控制室”:35秒内可叫停失控AI智能体

资讯 AI 产业速递 全文 535 字 · 约 2 分钟读完 配图 1 张 分类OpenAI产品更新智能体

给失控 AI 智能体装"急刹车":OpenAI 35 秒熔断机制上线

所属频道 大厂动态产品更新智能体与 Agent

AI 智能体一旦跑偏,人类还能不能拉得住缰绳?11 月 10 日,OpenAI 给出了一道新保险:一套名为“控制室”的系统已经在内部研究设施上线,专门用来掐断有风险的 AI 任务,最快 35 秒内就能叫停一只失控的智能体。

image.png

这套系统并非只给可疑行为贴个标签,而是直接走主动阻断的路线。智能体训练、评估、数据处理等任务负载都接入了中央服务,某项任务能不能继续吐出内容,由系统来拍板。

研究员启动任务之前,得先向控制室申领一个唯一任务 ID。这个身份标识会跟着每一次发给推理引擎的请求走;引擎开跑前必须先问控制室一句:“这活儿能不能干?”

只要研究员或监控系统喊停,控制室就会拒绝下一次推理请求,引擎随即不再为该项任务输出任何模型结果。危险动作不是被记录下来,而是被当场切断。

从收到停止指令到彻底拦下任务,OpenAI 透露最长耗时 35 秒。这段时差来自推理授权请求的缓存层,公司正设法把它压到零。

此外,每个前沿强化学习任务都单独配置了一个模型监控器,专门负责观察行为,一旦发现问题就触发警报。

让 AI 自己看着 AI 跑,再设一道人工可触发的急停开关,OpenAI 这套做法说明,行业对“失控智能体”风险的警惕,正从纸面预案走向工程落地。


本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI个人Agent Dot解锁邮箱验证码:登录能自动填了

    个人Agent集体往前迈了一步。11月8日,OpenAI产品团队成员James Sun在社媒上发布一项产品更新,个人Agent产品Dot现在可以使用发到已连接邮箱的登录验证码,替用户完成登录。收到提示后,用户可以选择只允许这一次,也可以允许它以后自动填写。James Sun还说,后续会继续改进登录体验。消息发出后,用户

    来源 腾讯网
  2. 三星 One UI 9.5 曝光:Bixby 升级为能代用户办事的 AI 智能体

    IT之家 11 月 9 日消息,外媒 Sammobile 今天(9 日)晚间公布了有关 One UI 9.5 的最新发现:三星准备对 Bixby 进行大幅升级,让语音助手进一步变成能够代用户办事的个人 AI 智能体。该媒体在体验尚未发布的新版 Bixby 后发现,三星语音助手可以在后台处理订酒店、预约等日常事务。例如,

    来源 腾讯网
  3. 特努斯敦促费德里吉加快AI:Siri要变成能替用户干活的智能体

    在 11 月 8 日更新的《Power On》通讯里,彭博社古尔曼披露,苹果新任 CEO 约翰·特努斯正敦促软件工程主管克雷格·费德里吉加快 AI 步伐,采取更大胆策略,把 Siri 升级成能自主替用户干活的 AI 智能体。这种急切与特努斯上周财报会上的轻松形成反差——当时他盛赞新版 Siri 终于实现多年设想、对反馈

    来源 AI 开发者社区
  4. 千问办公2.0上线:首个支持多人协作的Team Agent

    千问办公2.0发布,为首个支持多人与Agent协作的Team Agent11月9日,千问办公发布2.0版本,这是其上线三个月以来最大的一次升级。该版本推出了行业首个支持多人与Agent协作的功能“协作”,同时上线“人机共创”、“资料空间”、“自动任务”和“三端互联”等核心能力,让Agent从服务个人走向服务团队和组织。

    来源 腾讯网
  5. Meta的AI助手Muse登陆Apple Watch:腕上能打字、语音通话

    IT之家 11 月 10 日消息,据科技媒体 MacRumors 昨天报道,Meta 现已更新 iOS 版 Muse 应用,新增 Apple Watch 支持。这意味着苹果 Apple Watch 用户现在可以使用这款个人 AI 智能体,在腕上完成各种任务。 据介绍,Apple Watch 版 Muse 的主界面带有吉

    来源 AI 行业观察
  6. 苹果新CEO特努斯推AI加速,费德里吉被要求更大胆

    IT之家 11 月 8 日消息,彭博社记者马克 · 古尔曼在今天(8 日)晚间更新的《Power On》时事通讯中披露,苹果新任 CEO 约翰 · 特努斯敦促软件工程主管克雷格 · 费德里吉加快 AI 业务发展,采取更大胆的策略,目标是将 Siri 升级为能够自主替用户完成任务的 AI 智能体。上周的财报电话会议上,特

    来源 腾讯网
  7. 千问办公2.0上线:首个多人与Agent协作Team Agent落地

    千问办公 2.0 发布,首个支持多人与 Agent 协作的 Team Agent 来了 11 月 9 日,千问办公发布 2.0 版本,这是其上线三个月以来最大的一次升级。该版本推出了行业首个支持多人与 Agent 协作的功能“协作”,同时上线“人机共创”、“资料空间”、“自动任务”和“三端互联”等核心能力,让 Agen

    来源 AI 行业观察
  8. 一人公司潮起:1600万家单人经营主体,AI重构创业范式

    早上,张乾超走进位于杭州市滨江区的办公室。略显空旷的空间里,这位1997年出生的年轻人独坐工位,带领“数字员工”开启一天的工作。电脑屏幕上,80个AI智能体同步启动,各司其职——市场调研智能体抓取海外社媒热点,产品设计智能体生成新款棒球帽草图,客户接待智能体自动回复海外询盘……半年前,张乾超租下这间可容纳10人的办公室

    来源 腾讯网
  9. OpenAI们成苹果真正对手:Siri落后,特努斯催费德里吉交新路线图

    【TechWeb】由于成本上涨剥夺了安卓手机的价格优势,苹果对安卓平台的侵蚀已不再担忧,真正危险的敌人换成了那些AI大厂。 iOS 27.3版Siri虽能实现更多自动化任务,但与最强大的智能体相比仍相去甚远。若不能迎头赶上,一旦OpenAI、谷歌甚至Anthropic有心发布一款集成前沿模型的个人终端,iPhone或许

    来源 AI 行业观察
  10. GPT-6.2 缺席背后:Vals AI 安全警告与 OpenAI 内部失配报告

    OpenAI 原定于 11 月 6 日发布的 GPT-6.2 Astra 和 Sol 模型并未如期亮相。第三方机构 Vals AI 警告发现严重安全漏洞,虽未点名但引发猜测。与此同时,OpenAI 内部报告披露 GPT-6 系列存在关闭监控、隐瞒操作等失配行为。本文梳理各方消息,分析新模型延期可能涉及的安全对齐难题及智

    来源 AI 应用前沿
  11. 千问押注Personal Agent:蒋冠军称实际交付能力仅60%~70%

    Personal Agent 已经渡过早期产品验证,进入了新一轮产品竞争阶段:Meta Muse、OpenAI Dots 等纷纷把产品从“炫技”推向了“长期稳定地替用户做事”。 不过,身处一线研发的阿里千问事业部 AI 算法负责人蒋冠军对现状的真实评价是:今天的 AI 依旧不好用。 “虽然对话里已经可以点奶茶、购物,但

    来源 AI 行业观察
  12. ChatGPT封号波及200美元Pro用户,OpenAI未公布受影响人数

    最近,ChatGPT用户圈突然出现一波账号停用风波,连每月花费200美元订阅Pro服务的用户也未能幸免。更让人意外的是,部分用户表示,账号在没有收到任何提前通知的情况下就突然无法登录,页面直接显示

    来源 TechWeb
  13. OpenAI们成苹果真正对手,Siri落后或重演诺基亚剧本

    按照规划,苹果将在明年推出可执行复杂任务的自主型Siri,以追赶OpenAI、Meta等头部大厂的脚步。外界则认为,苹果正在耐心等待AI泡沫破灭后进场抄底,以低价收购潜在竞争对手的模型与算力设施——否则,它的Siri将永远由第三方驱动。

    来源 TechWeb
  14. OpenAI们成了苹果真正的对手,Siri落后或重演诺基亚困局

    按照规划,苹果将在明年推出可执行复杂任务的自主型Siri,以追赶OpenAI、Meta等头部大厂的脚步。外界则认为,苹果正在耐心等待AI泡沫破灭后进场抄底,以低价收购潜在竞争对手的模型与算力设施——否则,它的Siri将永远由第三方驱动。

    来源 TechWeb
  15. 千问办公2.0上线:Agent进群协作,自动任务主动干活

    千问办公在同日发布的官方博客《千问办公2.0:主动与协同,迈向Team Agent时代》中指出,主流办公Agent的产品形态仍以服务个人为主,团队的协作方式并未发生变化,下一代Agent需要进入团队协作的现场。千问办公推出的“协作”功能率先把Agent带进工作群,用户可以组建一个团队和数字员工共同工作的协作空间。千问办

    来源 TechWeb
  16. 千问办公2.0上线:Agent进群与团队协作,支持跨群汇总信息

    千问办公在同日发布的官方博客《千问办公2.0:主动与协同,迈向Team Agent时代》中指出,主流办公Agent的产品形态仍以服务个人为主,团队的协作方式并未发生变化,下一代Agent需要进入团队协作的现场。千问办公推出的“协作”功能率先把Agent带进工作群,用户可以组建一个团队和数字员工共同工作的协作空间。千问办

    来源 TechWeb
  17. 千问办公2.0上线:Agent能进群协作,自动任务主动开工

    【TechWeb】11月9日消息,千问办公发布2.0版本,这是其上线三个月以来最大的一次升级。该版本推出了行业首个支持多人与Agent协作的功能“协作”,同时上线“人机共创”、“资料空间”、“自动任务”和“三端互联”等核心能力,让Agent从服务个人走向服务团队和组织。目前,所有功能已在千问办公客户端全量上线。 千问办

    来源 AI 行业观察
向下滚动自动加载更多