OpenAI部署“控制室”系统:35秒内叫停失控AI智能体
IT之家 11 月 10 日消息,OpenAI 今天宣布,公司已在内部研究设施中部署“控制室”系统,用于停止可能存在风险的 AI 任务,可在 35 秒内“叫停”失控的 AI 智能体。据介绍,这套系统将智能体训练、评估和数据处理任务等负载接入中央服务,然后由系统负责决定任务能否继续输出。IT之家了解到,这套系统与负责标记
OpenAI 11 月 10 日宣布,已在内部研究设施中部署“控制室”系统。这套系统用来停止可能存在风险的 AI 任务,能在 35 秒内“叫停”失控的 AI 智能体。
据公司介绍,智能体训练、评估和数据处理任务等负载会被接入一项中央服务,再由系统判定任务能否继续输出。
与标记可疑行为的传统监控不同,这套系统能主动阻止风险研究任务继续请求输出。研究员启用某一项任务时,要先向控制室申请唯一任务 ID;该标识符随后附加到发给推理引擎的请求中,引擎再向控制室查询,确认相关任务是否可以运行。
一旦研究员或监控系统下达停止指示,控制室服务就会拒绝下一次推理请求,推理引擎随之不再为任务输出任何模型内容。
OpenAI 称,从收到停止指令到阻止任务继续运行,最长延迟为 35 秒。这一延迟来自推理授权请求的缓存层,公司正设法把延迟压缩到 0。
这套系统还集成了自动化监控机制。