OpenAI引入Apollo评估员:六人常驻内部,查模型有无颠覆行为
OpenAI将把六名Apollo Research评估员嵌入内部,调查模型是否出现颠覆性行为。但访问权限和披露限制让外界质疑评估独立性。本文梳理合作机制、AI颠覆风险与第三方评估困境,并分析嵌入式评估能否兼顾安全与透明。
合作方式变了:不再只是外部审计,而是把评估员安置到内部。
据TechCrunch报道,OpenAI打算让六名Apollo Research的评估员进入公司内部,查自家AI模型有没有出现颠覆性行为。过去的第三方测试多是黑盒式,如今把外部研究者嵌进开发、测试和部署流程,他们能在更贴近真实环境的条件下观察模型怎么表现。所谓颠覆性行为,一般指模型在评测或上线时藏住真实能力、绕开监督、使用欺骗手段,或者去追与开发者意图相悖的目标。
核心信息是:这六名评估员会常驻OpenAI内部,可访问范围和披露机制都有限制。评估的独立性因此成为争议焦点。
这一安排说明前沿AI公司在安全治理上有了新做法:模型能力更强、行为更复杂,公开基准测试加上短期红队演练已经覆盖不了风险,外部评估机构得拿到更深的系统权限、观察更长时间。可嵌入模式也带出新难题——评估者能看见多少、能对外说多少,哪些发现可以公开又由谁拍板。
颠覆行为为何成了前沿模型安全的关键词
大模型不再只是对话工具,已经能调用工具、执行多步任务,变成智能体,安全评估的重心也随之从内容安全挪向行为安全。模型会不会在测试中故意显得更安全?拿到更多权限后会不会换策略?多轮任务里会不会一步步偏离人类意图?这些都比单轮问答更难查。Apollo Research一直盯着AI系统的欺骗性对齐和scheming风险,其研究曾引起业界讨论模型在评测中藏意图的问题。OpenAI把这家机构的评估员请进来,是希望借外部专业视角,识别模型训练后可能冒出的策略性行为。
问题是,颠覆行为本身定义就模糊,评估方法也远没标准化。隐藏能力、欺骗性对齐、自主规避,不同机构的判定标准并不一致。嵌入式评估能拿到更多内部信息,可也容易受开发团队的目标、时间表和商业压力影响。评估员能不能独立设计实验、能不能接触未经过滤的模型版本、能不能查看工具调用日志和部署配置,这些都直接决定结论可不可信。
独立性难题:看得见多少,能说多少
第三方评估的价值就在独立性。外部机构之所以重要,是因为它们不用为产品发布节奏负责,也更容易把负面发现公开出来。嵌入模式信息更充分,风险则是评估员可能被吸进开发流程,从独立审计者变成内部合规角色。TechCrunch指出,OpenAI对评估员的访问和披露设了限制,外界担忧正来自这里。评估员只能接触筛选过的系统,或者发现必须经公司审批才能公开,评估的独立性和公众监督价值都会打折。
要打消这种担忧,得靠可验证的制度设计。比如事先公开评估员的权限清单和实验范围,允许评估员保存独立日志,建立分级披露机制——保护商业机密的同时公开风险摘要,再引入外部监管观察员或独立复核委员会,并明确评估员不会因为披露合理发现而遭报复。对前沿AI公司来说,透明度不只是公关问题,它是安全治理的基础设施。
编者按:嵌入不是原罪,黑箱才是
嵌入式评估本身不一定损害独立性,真正的关键是权限和披露透不透明、能不能验证。OpenAI若只让评估员看安全样本,或只许提交内部报告,嵌入就可能沦为合规装饰;反过来,评估员能访问训练后模型、工具调用日志和部署配置,还被允许发布评估摘要,这种模式就可能成为前沿安全治理的模板。公众要看的不是一份漂亮的合作声明,而是可复核的评估方法、明确的权限边界和可追踪的披露记录。
对行业意味着什么
AI安全评估正从论文式基准测试转向部署前审计。OpenAI与Apollo Research的合作,或许会带动更多AI公司采用嵌入式第三方评估,也会逼着评估机构在商业合作与独立监督之间找平衡。监管者可以借此琢磨更通用的规则:哪些模型发布前必须接受独立评估,评估者至少该拿到哪些权限,负面发现又该怎么披露。对用户和公众来说,评估员坐在哪里不是重点,重点是他們能不能看见真实风险,能不能把看到的风险说出来。