OpenAI调整安全策略:35秒内可停模型,第三方评估入驻内部
21世纪经济报道记者肖潇 报道“前沿大模型的能力正在快速提升,我们理解、对齐和保障安全的能力必须走在前面。”当地时间11月18日,OpenAI发布《应对前沿AI风险:从训练到部署》安全说明,首次全面披露了团队的安全措施,并表示正在调整训练和模型发布速度。一个月前,Anthropic也宣布与第三方安全机构合作,让外部人员
21世纪经济报道记者肖潇 报道
当地时间11月18日,OpenAI发布《应对前沿AI风险:从训练到部署》安全说明。这份文件首次全面披露了团队的安全措施,同时表示公司正在调整训练和模型发布速度。OpenAI在说明中称:“前沿大模型的能力正在快速提升,我们理解、对齐和保障安全的能力必须走在前面。”
一个月前,
据《21世纪经济报道》早前报道,网络安全行业刚熬过一个“黑色十月”,大模型成了安全事件的引子。眼下几大AI巨头齐刷刷加码安全审查,指向的其实是同一个题目:AI与网络安全。大模型公司该不该放慢脚步、模型安全问责又该怎么落地,全球范围内的争论到现在也没停。
OpenAI
OpenAI在此次报告中主动提及了今年7月发生的一起事件。这起事件促使OpenAI重新审视原有的安全策略,公司意识到,仅依靠原有做法已经不够。
在最新报告中,OpenAI将自己的防护体系总结为四个层次。
其一,训练阶段设一个控制室,作为集中管理的系统,用来追踪研究环境、叫停任务。按OpenAI披露的说法,控制室收到指令后35秒内就能让模型停止输出,手段是从推理基础设施层面直接掐断模型运作。
其二,把监控做得更严。已有大模型不再只是露出危险举动,还会刻意把意图藏起来。OpenAI的看法是,监控管不管用,取决于模型本身的可监控性,也就是监控人员能不能靠得住地从模型的推理和行为里发现不安全行为。对“可监控性”的研究因此需要加码。
其三,评估环节往前提。这一新举措被OpenAI着重强调,做法是借鉴航空、核能等高风险行业的安全管理思路:研发团队要继续做强化学习训练,先得查一遍现有评估有没有覆盖真正要紧的风险,训练相关的问题算不算在内。
安全问责正在变化
这套安全机制要真正起作用,就会碰上更难缠的一环:安全团队离研发团队到底多远,能拿到多少核心权限?两边起了冲突,最终拍板的是谁?
OpenAI本次披露了几项组织安排:高管负责审查安全报告,并都拥有对训练的决定权。
在几天之前,OpenAI还宣布与外部机构展开合作。
除了OpenAI,其他AI公司也在作出类似调整。
也就是说,第三方评估正从过去的外部测试,转向更深地介入公司内部。AI公司要做的,是在研发保密、商业利益和外部监督之间摸清一条边界。
安全问责机制怎么设计才算有效,国际政策议程同样在琢磨。AI+网络安全已经是中美欧国家级战略的重点方向,今年下半年,这三个地区都有国家级政策文件提到AI为网络安全赋能。
在企业自愿签署的相关承诺中,各方对安全评估的安排已有涉及。
美国白宫9月发布的文件也对相关问题提出了要求。
相较之下,国内在公开披露安全评估方面,仍有提升空间。国际第三方安全机构对此也有所关注。
国内监管和行业标准已经开始关注前沿模型带来的新型风险,最新发布的相关文件已有所体现。但该要求属于治理框架,并未对安全评估设定强制义务。如何进一步转化为可落地的要求,仍是国内AI安全治理需要回答的问题。