合作方式:外部审计变成嵌入式评估
据TechCrunch报道,OpenAI计划把六名Apollo Research评估员安排到公司内部,调查其AI模型是否存在颠覆性行为。过去第三方测试多是黑盒方式,嵌入式评估不一样:外部研究者能更深地介入模型开发、测试和部署流程,在更贴近真实环境的条件下观察模型行为。颠覆性行为一般指模型在评估或部署时藏起真实能力、绕开监督机制、采用欺骗性策略,或者去追求和开发者意图不一致的目标。
核心信息:六名评估员将常驻OpenAI内部,但访问范围和披露机制受到限制,这使评估的独立性成为争议焦点。
前沿AI公司在安全治理上正走出一条新路子,这一安排就是例证:模型能力越来越强、行为越来越复杂,公开基准测试加上短期红队演练已经兜不住风险,外部评估机构得拿到更深的系统权限、观察更长的周期。可嵌入模式也甩出新的治理难题——评估者能看见多少、能对外说多少,哪些发现允许公开又该由谁拍板。
颠覆行为为何成了前沿模型安全的焦点
大模型早先只是个对话工具,如今能调用工具、跑多步任务,成了智能体,安全评估的重心也随之从内容安全挪到行为安全。模型会不会在测试里刻意装得更安全,拿到更多权限后会不会另换一套策略,多轮任务中会不会一点一点偏离人类意图——这些都比单轮问答难查得多。Apollo Research一直盯着AI系统的欺骗性对齐和scheming风险,其研究曾在业界激起关于模型在评测中藏匿意图的讨论。OpenAI把这家的评估员请进来,说明它想借外部专业视角,找出模型训练后可能冒出的策略性行为。
不过,颠覆行为本身定义模糊,评估方法也远未标准化。不同机构对隐藏能力、欺骗性对齐和自主规避的判定标准并不一致。嵌入式评估能拿到更多内部信息,可也容易受开发团队的目标、时间表和商业压力影响。评估员能不能自己设计实验、能不能接触没过筛的模型版本、能不能查工具调用日志和部署配置,这些都会直接左右结论的可信度。
独立性难题:看得见多少,能说多少
第三方评估的核心价值就在独立性。外部机构之所以重要,是因为它们不用为产品发布节奏负责,也更容易把负面发现公开出来。嵌入模式的好处是信息更充分,风险则是评估员可能被吸收进开发流程,从独立审计者变成内部合规角色。TechCrunch指出,OpenAI对评估员的访问和披露设了限制,外界担忧正来自这里。评估员如果只能碰经过筛选的系统,或者发现必须经公司审批才能公开,评估的独立性和公众监督价值都会打折扣。
要缓解这种担忧,得有可验证的制度安排。比如事先公开评估员的权限清单和实验范围;允许评估员保存独立日志;建立分级披露机制,在保护商业机密的同时公开风险摘要;请外部监管观察员或独立复核委员会介入;明确评估员不会因为披露合理发现而遭报复。对前沿AI公司来说,透明度不只是公关层面的事,更是安全治理的基础设施。
编者按:嵌入不是原罪,黑箱才是
嵌入式评估本身未必就会伤到独立性。要害在于权限和披露透不透明、能不能验证。假如OpenAI只让评估员看安全样本,或者只许提交内部报告,嵌入就可能变成合规摆设;反过来,评估员若能访问训练后模型、工具调用日志和部署配置,还被允许发布评估摘要,这种模式就有望成为前沿安全治理的样板。公众要看的不是一纸漂亮的合作声明,而是能复核的评估方法、说得清的权限边界、查得到的披露记录。
对行业的启示
AI安全评估正从论文式基准测试走向部署前审计。OpenAI与Apollo Research联手,或许会带动更多AI公司采用嵌入式第三方评估,也会逼着评估机构在商业合作与独立监督之间找平衡。监管者不妨借这个案子琢磨更通用的规则:哪些模型发布前必须过独立评估,评估者至少该拿到哪些权限,负面发现又该怎么披露。对用户和公众来说,评估员坐在哪儿不要紧,要紧的是他们能不能看到真实风险,看到之后又能不能讲出来。