OpenAI上线Control Room:模型失控最长35秒内被掐断
凤凰网科技讯 11月10日,OpenAI近日宣布,已在内部研究基础设施中部署名为“Control Room”的中央控制系统。当模型任务引发安全或网络安全风险时,该系统可在收到停止指令后最长35秒内阻....
11月10日,凤凰网科技获悉,OpenAI已在内部研究基础设施中部署了一套名为“Control Room”的中央控制系统。一旦模型任务带来安全或网络安全风险,该系统接到停止指令后,最多35秒就能阻断模型继续输出。
据其介绍,监控模型负责检查被训练模型的推理与操作过程,发现潜在问题后,会视风险高低发出警报,或者直接叫停任务。
落到执行层面,监控系统会把需要停止的任务ID发给Control Room。等这个任务下一次申请模型推理时,推理引擎会核验它的运行权限;要是任务已被标记为终止,请求就会被拒绝,模型也就无法继续生成内容。
OpenAI表示,眼下从Control Room收到停止指令,到任务彻底无法运行,最长需要35秒。这段时间差源自推理授权环节的缓存层,公司正在进一步压缩响应时间,目标是把停止做到即时。
这套系统还设了“故障关闭”机制:Control Room一旦出故障、被关闭或遭篡改,所有相关推理请求默认都会被拒绝,直到服务恢复为止。该机制目前已覆盖OpenAI全部前沿模型研究任务,并正向其他研究任务推广。OpenAI称,对外模型服务用的是更集中的技术架构,相应的部署下线和应急处置能力已经具备。