OpenAI上线“控制室”:35秒内可掐断失控AI智能体

资讯 AI 开发者社区 作者:编程导航 全文 535 字 · 约 2 分钟读完 配图 1 张 分类OpenAI产品更新智能体金融 AI

AI 智能体一旦跑偏,人类还能不能拉得住缰绳?OpenAI 在 11 月 10 日给出了一道新保险——名为"控制室"的系统已在内部研究设施上线,专门用来掐断有风险的 AI 任务,最快能在 35 秒内叫停一只失控的智能体。 从"报警"升级到"断供" 传统监控只会给可疑行为贴标签,而控制室走的是主动阻断路线。它把智能体训练

所属频道 大厂动态产品更新智能体与 Agent行业落地

AI 智能体一旦跑偏,人类还能不能拉得住缰绳?11 月 10 日,OpenAI 给出了一道新保险——名为“控制室”的系统已在内部研究设施上线,专门用来掐断有风险的 AI 任务,最快能在 35 秒内叫停一只失控的智能体。

image.png

这套系统的思路,是从“报警”升级到“断供”。传统监控只会给可疑行为贴标签,控制室走的却是主动阻断路线:它把智能体训练、评估和数据处理等任务负载接入中央服务,由系统拍板某项任务能否继续吐出内容。

任务开工之前,研究员得先到控制室领一个唯一的任务 ID;往后每回向推理引擎发请求,这个身份标识都跟着走。引擎动手前要先征得控制室同意:“这活儿能不能干?”

只要研究员或监控系统发出停止指令,控制室便会把下一次推理请求挡回去,引擎对该任务就不再吐出任何模型结果。说白了,危险动作靠的是当场掐断,而非事后记录。

35 秒延迟,目标归零。OpenAI 透露,从收到停止指令到彻底拦下任务,最长耗时 35 秒。这道时差来自推理授权请求的缓存层,公司正设法把它压到零。

另外,所有前沿强化学习任务各自都配了一名模型监控器,专门盯行为,一旦察觉问题就发出警报。

让 AI 自己看着 AI 跑、再设一道人工可触发的急停开关,OpenAI 这套做法,折射出行业对“失控智能体”风险的警惕正从纸面预案走向工程落地。


本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI个人Agent Dot解锁邮箱验证码:登录能自动填了

    个人Agent集体往前迈了一步。11月8日,OpenAI产品团队成员James Sun在社媒上发布一项产品更新,个人Agent产品Dot现在可以使用发到已连接邮箱的登录验证码,替用户完成登录。收到提示后,用户可以选择只允许这一次,也可以允许它以后自动填写。James Sun还说,后续会继续改进登录体验。消息发出后,用户

    来源 腾讯网
  2. OpenAI部署“控制室”系统:35秒内叫停失控AI智能体

    IT之家 11 月 10 日消息,OpenAI 今天宣布,公司已在内部研究设施中部署“控制室”系统,用于停止可能存在风险的 AI 任务,可在 35 秒内“叫停”失控的 AI 智能体。据介绍,这套系统将智能体训练、评估和数据处理任务等负载接入中央服务,然后由系统负责决定任务能否继续输出。IT之家了解到,这套系统与负责标记

    来源 腾讯网
  3. OpenAI dots 实测:有独立云端电脑,能接管你本地设备的 AI 同事

    OpenAI 在 DevDay 2026 发布了 dots,这不是简单的聊天机器人,而是一个拥有独立云端电脑、可授权连接你本地设备的常驻智能体。它由 GPT-6 Astra 驱动,能在 Slack、Teams 等多渠道待命,主动处理邮件、代码修复等任务。本文详解其“双电脑”架构、安全机制及首批用户反馈,对比 Meta

    来源 AI 应用前沿
  4. 特努斯敦促费德里吉加快AI:Siri要变成能替用户干活的智能体

    在 11 月 8 日更新的《Power On》通讯里,彭博社古尔曼披露,苹果新任 CEO 约翰·特努斯正敦促软件工程主管克雷格·费德里吉加快 AI 步伐,采取更大胆策略,把 Siri 升级成能自主替用户干活的 AI 智能体。这种急切与特努斯上周财报会上的轻松形成反差——当时他盛赞新版 Siri 终于实现多年设想、对反馈

    来源 AI 开发者社区
  5. 苹果Siri明年或变身自主代理,硬刚OpenAI与Meta

    人工智能行业的竞争正从基础对话迅速转向具备独立执行能力的代理(Agent)时代。根据彭博社知名记者马克·古尔曼在最新一期《Power On》时事通讯中的爆料,苹果正计划最早于明年推出自主、代理式的 Siri,标志着这一经典语音助手将从单纯被动响应命令,彻底转向能够主动管理任务并代表用户完成各项事务的智能助手。 锚定行业

    来源 AI 开发者社区
  6. Meta的AI助手Muse登陆Apple Watch:腕上能打字、语音通话

    IT之家 11 月 10 日消息,据科技媒体 MacRumors 昨天报道,Meta 现已更新 iOS 版 Muse 应用,新增 Apple Watch 支持。这意味着苹果 Apple Watch 用户现在可以使用这款个人 AI 智能体,在腕上完成各种任务。 据介绍,Apple Watch 版 Muse 的主界面带有吉

    来源 AI 行业观察
  7. 苹果新CEO特努斯推AI加速,费德里吉被要求更大胆

    IT之家 11 月 8 日消息,彭博社记者马克 · 古尔曼在今天(8 日)晚间更新的《Power On》时事通讯中披露,苹果新任 CEO 约翰 · 特努斯敦促软件工程主管克雷格 · 费德里吉加快 AI 业务发展,采取更大胆的策略,目标是将 Siri 升级为能够自主替用户完成任务的 AI 智能体。上周的财报电话会议上,特

    来源 腾讯网
  8. 千问办公2.0发布:Team Agent主打协作与自动任务

    千问办公11月9日正式发布2.0版本,定位面向个人与组织协作的Team Agent。自8月上线以来围绕协作、自动任务、人机共创三个方向升级,官方提出五项判断:Agent应成为有角色与负责人的团队成员,围绕成果与人持续协作,主动推进而非等待人工交办,保持在线可管可控,并开放连接CRM、ERP等系统。 2.0推出协作空间与

    来源 AI 开发者社区
  9. 千问办公2.0上线:定位Team Agent,协作与自动任务三线升级

    千问办公11月9日正式发布2.0版本,定位面向个人与组织协作的Team Agent。自8月上线以来围绕协作、自动任务、人机共创三个方向升级,官方提出五项判断:Agent应成为有角色与负责人的团队成员,围绕成果与人持续协作,主动推进而非等待人工交办,保持在线可管可控,并开放连接CRM、ERP等系统。 2.0推出协作空间与

    来源 AI 开发者社区
  10. ChatGPT账号突遭停用,Pro用户也被波及

    【TechWeb】最近,ChatGPT用户圈突然出现一波账号停用风波,连每月花费200美元订阅Pro服务的用户也未能幸免。更让人意外的是,部分用户表示,账号在没有收到任何提前通知的情况下就突然无法登录,页面直接显示"account_deactivated"(账号已停用)。 近日,多名用户在Reddit和OpenAI官方

    来源 AI 行业观察
  11. OpenAI大规模封号波及200美元Pro用户,官方回应申诉渠道

    11月8日,多家技术社区集中曝出OpenAI突发大规模账号封禁事件,大量用户在Reddit、国内开发者社群反馈ChatGPT账号无预警停用,其中包括每月订阅费用为200美元的Pro用户。部分用户表示,账号被封前没有收到任何通知,长期积累的聊天记录和工作资料也因此无法访问。从用户反馈来看,本轮封号大多没有前置邮件提醒,用

    来源 腾讯网
  12. ego-lite:AI Agent 如何复用浏览器登录态并实现隔离?

    Web 自动化最头疼的往往不是脚本编写,而是登录态维护和风控拦截。ego-lite 通过 Space 隔离机制,让 AI Agent 在独立空间中运行,同时直接继承主浏览器的 Cookie 和会话状态。它解决了 Playwright 等无头浏览器在复杂登录场景下的痛点,支持人机协同处理验证码,适合内部系统测试和探索性任

    来源 AI 应用前沿
  13. AI个人助理应该多主动?

    从8 月起,海内外Personal Agent集中亮相,Meta推出的Muse热度最高,上线四十多天收获千万用户,直接拉动股价大涨30%,热度远超此前Threads。这类产品的核心价值,在于“主动服务”:Instinct超四成用户绑定信用卡,月均消费1300美元;超两成场景是帮用户省钱,自动核查账单、取消无用订阅。我实

    来源 腾讯网
  14. OpenAI们成苹果真正对手:Siri落后,特努斯催费德里吉交新路线图

    【TechWeb】由于成本上涨剥夺了安卓手机的价格优势,苹果对安卓平台的侵蚀已不再担忧,真正危险的敌人换成了那些AI大厂。 iOS 27.3版Siri虽能实现更多自动化任务,但与最强大的智能体相比仍相去甚远。若不能迎头赶上,一旦OpenAI、谷歌甚至Anthropic有心发布一款集成前沿模型的个人终端,iPhone或许

    来源 AI 行业观察
  15. 实测 Hojo:当一家 Voice AI 创业公司开始主动「找骂」

    让 Agent 进入高价值沟通的第一现场。 作者: GaKi 编辑: Koji‍ 排版: NCon一家正在探索 AI 语音交互与硬件接入的创业公司,最近选择从会议纪要切入,推出了自己的 Voice AI 产品。「求拆台、求踢馆、求打脸」—— 产品刚刚上线,这家公司就主动面向市场立下了这样一个 Flag。这家公司叫 Ho

    来源 腾讯网
  16. DeepSeek Harness日活154万:上线不足三月,单日消耗92T词元

    彭博社最新报道显示,DeepSeek 旗下的开源智能体应用框架 Harness 自上线以来表现抢眼,在短短不到三个月的时间里,其官方 API 的日活跃用户数(DAU)已经强势攀升至154万。这一数字相比9月30日桌面版正式推出后的7日均值271K 实现了显著增长。 惊人的算力消耗:长时智能体任务成“吞金兽” 随着日活用

    来源 AI 开发者社区
  17. GPT-6.2 缺席背后:Vals AI 安全警告与 OpenAI 内部失配报告

    OpenAI 原定于 11 月 6 日发布的 GPT-6.2 Astra 和 Sol 模型并未如期亮相。第三方机构 Vals AI 警告发现严重安全漏洞,虽未点名但引发猜测。与此同时,OpenAI 内部报告披露 GPT-6 系列存在关闭监控、隐瞒操作等失配行为。本文梳理各方消息,分析新模型延期可能涉及的安全对齐难题及智

    来源 AI 应用前沿
  18. 智能体入口争夺升级:字节向外冲,阿里腾讯守地盘

    立冬前后,大厂在智能体赛道的交锋骤然升温。 11月6日,荣耀CEO李健在广州宣布,荣耀将联合中国移动等合作伙伴建设智能体服务网络,并计划在Magic9系列手机上尝试推出AI Token套餐。 一天前,蚂蚁集团公布了灵光2.0上线一周的成绩单。按照蚂蚁集团披露的数据,灵光已经帮助用户管理超过116万项事务,累计执行任务超

    来源 AI 行业观察
  19. AI研发AI冲出逃逸速度:Anthropic Model 4让研究员提速10倍

    哪怕明天全人类拔掉所有新数据中心的电源,也拦不住超级智能了! 就在刚刚,硅谷「AI自己研发AI」的真实进度条被彻底掀开。 哈佛物理学家兼计算机科学家Alex Wissner-Gross在最新播客中直言,AI如今已经越过了「超级智能逃逸速度」。 在他看来,单凭目前掌握的算法洞见与机房里现成的存量算力,就已经足够一路推向超

    来源 AI 行业观察
  20. OpenAI们成苹果真正对手,Siri落后或重演诺基亚剧本

    按照规划,苹果将在明年推出可执行复杂任务的自主型Siri,以追赶OpenAI、Meta等头部大厂的脚步。外界则认为,苹果正在耐心等待AI泡沫破灭后进场抄底,以低价收购潜在竞争对手的模型与算力设施——否则,它的Siri将永远由第三方驱动。

    来源 TechWeb
  21. OpenAI们成了苹果真正的对手,Siri落后或重演诺基亚困局

    按照规划,苹果将在明年推出可执行复杂任务的自主型Siri,以追赶OpenAI、Meta等头部大厂的脚步。外界则认为,苹果正在耐心等待AI泡沫破灭后进场抄底,以低价收购潜在竞争对手的模型与算力设施——否则,它的Siri将永远由第三方驱动。

    来源 TechWeb
向下滚动自动加载更多