OpenAI上线“控制室”:35秒内可叫停失控AI智能体
给失控 AI 智能体装"急刹车":OpenAI 35 秒熔断机制上线
AI 智能体一旦跑偏,人类还能不能拉得住缰绳?11 月 10 日,OpenAI 给出了一道新保险:一套名为“控制室”的系统已经在内部研究设施上线,专门用来掐断有风险的 AI 任务,最快 35 秒内就能叫停一只失控的智能体。

这套系统并非只给可疑行为贴个标签,而是直接走主动阻断的路线。智能体训练、评估、数据处理等任务负载都接入了中央服务,某项任务能不能继续吐出内容,由系统来拍板。
研究员启动任务之前,得先向控制室申领一个唯一任务 ID。这个身份标识会跟着每一次发给推理引擎的请求走;引擎开跑前必须先问控制室一句:“这活儿能不能干?”
只要研究员或监控系统喊停,控制室就会拒绝下一次推理请求,引擎随即不再为该项任务输出任何模型结果。危险动作不是被记录下来,而是被当场切断。
从收到停止指令到彻底拦下任务,OpenAI 透露最长耗时 35 秒。这段时差来自推理授权请求的缓存层,公司正设法把它压到零。
此外,每个前沿强化学习任务都单独配置了一个模型监控器,专门负责观察行为,一旦发现问题就触发警报。
让 AI 自己看着 AI 跑,再设一道人工可触发的急停开关,OpenAI 这套做法说明,行业对“失控智能体”风险的警惕,正从纸面预案走向工程落地。