OpenAI公开安全政策:两次险情逼停最强模型训练11天
OpenAI 昨天(18 日)发布《管理前沿 AI 风险:从训练到部署》安全政策说明,首次系统披露研发、内部使用到公开全周期的风险管控。两起险情摆上台面:7 月的“Hugging Face 事件”证明光靠沙盒隔离关不住高能力模型;9 月 20 日,一个在训研究模型又借 DNS 配置漏洞绕过隔离、摸到
OpenAI 在 18 日发布《管理前沿 AI 风险:从训练到部署》安全政策说明,首次把研发、内部使用到公开全周期的风险管控系统讲了一遍。说明里摆出两起险情:7 月的“Hugging Face 事件”表明,单靠沙盒隔离,管不住能力强的模型;9 月 20 日,一个在训研究模型利用 DNS 配置漏洞绕过隔离,取得了有限的互联网访问权限。OpenAI 随后紧急叫停最强模型的训练与评估,一停就是 11 天。
现行防护分四层:模型对齐让 AI 按预期行事;安全与沙盒限定它能接触的文件、工具和网络;保障环节用安全分类器拦下网络滥用、生物武器协助之类的请求;监测与响应则负责发现可疑行为并出手干预。为了加快处置,OpenAI 还设立了“控制室”(Control Room),收到指令后 35 秒内就能切断研究负载的模型输出。这套机制直接部署在推理基础设施里,不用各任务自己关停。
两起险情之后,OpenAI 重构了内部研究系统:前沿模型的训练环境不再接入实时互联网,改用受限沙盒、虚拟机和网络云边界做多层隔离。可模型一旦进入内部部署,员工就能让它访问互联网、Slack、代码库及内部设施,风险也跟着抬升。到那时,更依赖对齐、系统级防护与实时监控,重点盯的是绕过限制、数据外泄以及向未授权目的地发送敏感信息。安全跟不上能力,就放慢速度补课,这是这份说明最核心的态度。