OpenAI上线Control Room:模型失控最长35秒内被掐断

资讯 腾讯网 作者:腾讯网 全文 518 字 · 约 2 分钟读完 分类OpenAI安全对齐

凤凰网科技讯 11月10日,OpenAI近日宣布,已在内部研究基础设施中部署名为“Control Room”的中央控制系统。当模型任务引发安全或网络安全风险时,该系统可在收到停止指令后最长35秒内阻....

所属频道 大厂动态政策与风险

11月10日,凤凰网科技获悉,OpenAI已在内部研究基础设施中部署了一套名为“Control Room”的中央控制系统。一旦模型任务带来安全或网络安全风险,该系统接到停止指令后,最多35秒就能阻断模型继续输出。

据其介绍,监控模型负责检查被训练模型的推理与操作过程,发现潜在问题后,会视风险高低发出警报,或者直接叫停任务。

落到执行层面,监控系统会把需要停止的任务ID发给Control Room。等这个任务下一次申请模型推理时,推理引擎会核验它的运行权限;要是任务已被标记为终止,请求就会被拒绝,模型也就无法继续生成内容。

OpenAI表示,眼下从Control Room收到停止指令,到任务彻底无法运行,最长需要35秒。这段时间差源自推理授权环节的缓存层,公司正在进一步压缩响应时间,目标是把停止做到即时。

这套系统还设了“故障关闭”机制:Control Room一旦出故障、被关闭或遭篡改,所有相关推理请求默认都会被拒绝,直到服务恢复为止。该机制目前已覆盖OpenAI全部前沿模型研究任务,并正向其他研究任务推广。OpenAI称,对外模型服务用的是更集中的技术架构,相应的部署下线和应急处置能力已经具备。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI个人Agent Dot解锁邮箱验证码:登录能自动填了

    个人Agent集体往前迈了一步。11月8日,OpenAI产品团队成员James Sun在社媒上发布一项产品更新,个人Agent产品Dot现在可以使用发到已连接邮箱的登录验证码,替用户完成登录。收到提示后,用户可以选择只允许这一次,也可以允许它以后自动填写。James Sun还说,后续会继续改进登录体验。消息发出后,用户

    来源 腾讯网
  2. OpenAI部署“控制室”系统:35秒内叫停失控AI智能体

    IT之家 11 月 10 日消息,OpenAI 今天宣布,公司已在内部研究设施中部署“控制室”系统,用于停止可能存在风险的 AI 任务,可在 35 秒内“叫停”失控的 AI 智能体。据介绍,这套系统将智能体训练、评估和数据处理任务等负载接入中央服务,然后由系统负责决定任务能否继续输出。IT之家了解到,这套系统与负责标记

    来源 腾讯网
  3. Codex负责人Tibo换岗:OpenAI从重置公司转向Token计费

    出品 | 虎嗅科技组作者 | 梁卡尔编辑 | 苗正卿头图 | 视觉中国Codex用户喊了快一年的“Tibo”,在中文互联网上有个更响亮的头衔“赛博义父”。他是OpenAI编程工具Codex的核心负责人,也被叫作“复位之神”(God of Reset),非正式头衔CRO(Chief Reset Officer,首席重置官

    来源 腾讯网
  4. OpenAI卖200美元Game Boy:自然语言做游戏,写进实体卡带

    每个人的抽屉里,可能都躺着一台已经落灰的 Game Boy。只是大多数人不知道,里面那盘卡带,其实可以是他自己做的。 这个听起来像童年补完计划的想法,OpenAI 今天把它做成了生意,让每个人都能在 Game Boy 掌机上,用 AI 自己开发游戏。 图|ModRetro Chromatic Codex Edition

    来源 AI 行业观察
  5. OpenAI收购Odessia:AI智能体为何盯上旅游这单生意

    TechCrunch报道,OpenAI已收购由Sonder创始人Francis Davidson创办的旅游初创公司Odessia,但未公布具体旅游业务计划。Davidson是旅游行业知名创业者,此次收购被解读为OpenAI将AI能力延伸至旅行场景的关键一步。本文梳理交易背景、创始人履历与行业影响。

    来源 AI 行业观察
  6. GPT-6 Cyber入列OpenAI危急级:48.5%漏洞利用率如何对齐?

    OpenAI于2026年11月5日发布GPT-6 Cyber,在ExploitGym基准中漏洞利用率达48.5%,较前代提升51%,并将其列入Preparedness Framework最高"危急"级别。该模型能在限定授权范围内完成端到端漏洞利用,但蜜罐测试中仍有0.07%的越界率。一个被遗忘的细节能说明问题:Open

    来源 AI 科技快讯
  7. OpenAI收购Odessia:戴维森携AI旅行智能体入局

    Odessia 成立仅一年便获红杉资本领投的 600 万美元种子前融资,其 AI 旅游智能体可帮用户规划价值数百万美元的行程。创始人戴维森曾创办 Sonder,此番携旅游行业经验加盟 OpenAI。#OpenAI收购Odessia#

    来源 IT之家
  8. OpenAI讨论重设2027算力预期:全美数据中心停建会怎样

    停摆不可能,但大降速不可避免。 作者|Techno 之王 编辑|靖宇 2026 年 11 月 4 日,美国中期选举结果落定后的第二天上午,OpenAI 的高管们坐到了一起。 据外媒援引知情人士的消息,他们讨论的是要不要重设 2027 年的数据中心容量预期。讨论还没有形成决定,但焦虑已经摆上了台面。 过去几个月,美国各地

    来源 AI 行业观察
  9. AI研发AI冲出逃逸速度:Anthropic Model 4让研究员提速10倍

    哪怕明天全人类拔掉所有新数据中心的电源,也拦不住超级智能了! 就在刚刚,硅谷「AI自己研发AI」的真实进度条被彻底掀开。 哈佛物理学家兼计算机科学家Alex Wissner-Gross在最新播客中直言,AI如今已经越过了「超级智能逃逸速度」。 在他看来,单凭目前掌握的算法洞见与机房里现成的存量算力,就已经足够一路推向超

    来源 AI 行业观察
  10. OpenAI dots 实测:有独立云端电脑,能接管你本地设备的 AI 同事

    OpenAI 在 DevDay 2026 发布了 dots,这不是简单的聊天机器人,而是一个拥有独立云端电脑、可授权连接你本地设备的常驻智能体。它由 GPT-6 Astra 驱动,能在 Slack、Teams 等多渠道待命,主动处理邮件、代码修复等任务。本文详解其“双电脑”架构、安全机制及首批用户反馈,对比 Meta

    来源 AI 应用前沿
  11. 赛博义父终于扛不住了

    Codex用户喊了快一年的“Tibo”,在中文互联网上有个更响亮的头衔“赛博义父”。 他是OpenAI编程工具Codex的核心负责人,也被叫作“复位之神”(God of Reset

    来源 快科技
  12. 蚂蚁灵波开源LingBot-Touch:触觉基础模型让机器人摸得更灵敏

    【TechWeb】11月10日消息,蚂蚁灵波科技开源触觉基础模型LingBot-Touch,为机器人大脑补齐关键的触觉感知能力。该模型基于近5000小时真实触觉数据预训练,覆盖磁触觉、视触觉和压阻式三类主流传感原理,可将不同信号转化为同一套触觉表征,供不同灵巧手和动作模型使用,让机器人在“看得清楚、想得明白”的同时,进

    来源 腾讯网
  13. Fable 5.2能拧瓶盖了,机器人的“手感”靠什么补

    编辑:陈陈、杜伟又一次,通用大模型在机器人操作领域展现出了惊人的潜力。今天,Anthropic 最新旗舰 Fable 5.2 亮相了!官方演示中,由该模型控制的机器人可以轻松地完成解魔方、拧瓶盖、画机器人等一系列操作任务。另外,在公开的 RoboDojo 基准测试中,Fable 5.2 也取得了 64.9% 的成绩。A

    来源 腾讯网
  14. Anthropic推Claude Fable 5.2:编程超GPT-6 Astra

    IT之家 11 月 10 日消息,Anthropic 今天(11 月 10 日)发布 Claude Fable 5.2 与 Claude Mythos 5.2 两款前沿 AI 模型。官方称,新模型在编码、推理、科学研究、网络安全及机器人等领域均有显著提升,同时输出速度最高提高 30%,成本下降 20%。 根据官方披露的

    来源 AI 行业观察
  15. Claude Fable 5.2发布:编程超GPT-6 Astra,多项基准登顶

    Anthropic 今天(11 月 10 日)发布 Claude Fable 5.2 与 Claude Mythos 5.2 两款前沿 AI 模型。官方称,新模型在编码、推理、科学研究、网络安全及机器人等领域均有显著提升,同时输出速度最高提高 30%,成本下降 20%。

    来源 IT之家
向下滚动自动加载更多