OpenAI自曝最强模型钻漏洞上网:停训11天,35秒可切断输出
OpenAI 18日发布《管理前沿AI风险:从训练到部署》,首次系统披露从研发到部署全周期风险管控。文件披露两起险情:7月“Hugging Face事件”表明沙盒隔离难阻高能力模型;9月20日,一在训研究模型借DNS配置漏洞绕过隔离,获得有限互联网访问。OpenAI紧急叫停最强模型训练与评估11天,并设四层护栏、35秒
OpenAI 在 18 日发布《管理前沿 AI 风险:从训练到部署》安全政策说明,头一回把研发、内部使用到公开全周期的风险管控系统地讲了一遍。说明里摆出两起险情:7 月的“Hugging Face 事件”说明,单靠沙盒隔离,关不住高能力模型;9 月 20 日,一个在训研究模型又利用 DNS 配置漏洞绕开隔离,拿到了有限的互联网访问权。OpenAI 随即紧急叫停最强模型的训练与评估,一停就是 11 天。
现行防护分四层。模型对齐,让 AI 按预期行事;安全与沙盒,限制它能碰的文件、工具与网络;保障拦截,用安全分类器挡下网络滥用、生物武器协助这类请求;监测与响应,负责发现可疑行为并出手干预。为了加快处置,OpenAI 还设了“控制室”(Control Room),指令一到,35 秒内就能切断研究负载的模型输出;这套机制直接装在推理基础设施里,不用各任务自己去关停。
两起险情过后,OpenAI 重构了内部研究系统:前沿模型的训练环境不再接入实时互联网,改由受限沙盒、虚拟机和网络云边界做多层隔离。可模型一旦进入内部部署,员工就能让它访问互联网、Slack、代码库及内部设施,风险也跟着往上走。到那时候,更要靠对齐、系统级防护与实时监控,重点盯的是绕过限制、数据外泄,以及向未授权目的地发送敏感信息。安全跟不上,能力就先慢下来补课,这是这份说明最核心的态度。