OpenAI上线Control Room:模型任务失控最长35秒可阻断
OpenAI近日宣布已在内部研究基础设施中部署名为Control Room的中央控制系统,统一追踪强化学习训练、模型评估、智能体采样及数据处理等研究任务。当模型任务引发安全或网络安全风险时,该系统可在收到停止指令后最长35秒内阻断模型继续输出。系统采用故障关闭机制,若控制室发生故障、被关闭或遭篡改,相关推理请求默认被拒
OpenAI近日在内部研究基础设施里部署了一套名为“Control Room”的中央控制系统。按照凤凰网科技11月10日的报道,一旦模型任务带来安全或网络安全风险,停止指令发出后,这套系统最长用35秒就能让模型的输出停下来。

据OpenAI介绍,Control Room负责统一追踪强化学习训练、模型评估、智能体采样、数据处理等研究任务,并且和模型行为监控系统打通。监控模型盯着被训练模型的推理和操作过程,发现潜在问题后,会按风险程度发出警报,或者直接把任务暂停。
执行层面怎么走?监控系统把要停的任务ID发给Control Room。该任务下一次请求模型推理时,推理引擎先核对运行权限;任务一旦被标记为终止,请求就会被拒绝,模型也就没法接着生成内容。
OpenAI表示,从Control Room下发停止指令,到任务彻底跑不下去,目前最长要35秒。这段延迟出在推理授权环节的缓存层,公司正在继续压缩响应时间,目标是把停止做到即时。
系统还设了“故障关闭”机制:Control Room出故障、被关掉或者被篡改,相关推理请求默认全部拒绝,直到服务恢复为止。这套机制眼下覆盖OpenAI全部前沿模型研究任务,也在往其他研究任务上推。OpenAI称,对外模型服务用的是更集中的技术架构,相应的部署下线和应急处置能力已经具备。(作者/宋淑美)