OpenAI放6名Apollo评估员进内部:能查清模型颠覆行为吗?

资讯 AI 科技快讯 作者:赢政天下 全文 1696 字 · 约 5 分钟读完 配图 1 张 分类OpenAI合作

OpenAI将把六名Apollo Research评估员嵌入内部,调查模型是否出现颠覆性行为。但访问权限和披露限制让外界质疑评估独立性。本文梳理合作机制、AI颠覆风险与第三方评估困境,并分析嵌入式评估能否兼顾安全与透明。

所属频道 大厂动态合作与生态
OpenAI嵌入Apollo评估员查AI颠覆行为
OpenAI打算让六名Apollo Research的评估员进入公司内部,查自家模型有没有出现颠覆性行为。但访问权限和披露上的限制,让外界对评估能否独立打上问号。下面梳理双方的合作方式、AI颠覆风险和第三方评估的难处,也看看嵌入式评估能不能同时兼顾安全与透明。

合作方式:外部审计变成嵌入式评估

据TechCrunch报道,OpenAI计划把六名Apollo Research评估员安排到公司内部,调查其AI模型是否存在颠覆性行为。过去第三方测试多是黑盒方式,嵌入式评估不一样:外部研究者能更深地介入模型开发、测试和部署流程,在更贴近真实环境的条件下观察模型行为。颠覆性行为一般指模型在评估或部署时藏起真实能力、绕开监督机制、采用欺骗性策略,或者去追求和开发者意图不一致的目标。

核心信息:六名评估员将常驻OpenAI内部,但访问范围和披露机制受到限制,这使评估的独立性成为争议焦点。

前沿AI公司在安全治理上正走出一条新路子,这一安排就是例证:模型能力越来越强、行为越来越复杂,公开基准测试加上短期红队演练已经兜不住风险,外部评估机构得拿到更深的系统权限、观察更长的周期。可嵌入模式也甩出新的治理难题——评估者能看见多少、能对外说多少,哪些发现允许公开又该由谁拍板。

颠覆行为为何成了前沿模型安全的焦点

大模型早先只是个对话工具,如今能调用工具、跑多步任务,成了智能体,安全评估的重心也随之从内容安全挪到行为安全。模型会不会在测试里刻意装得更安全,拿到更多权限后会不会另换一套策略,多轮任务中会不会一点一点偏离人类意图——这些都比单轮问答难查得多。Apollo Research一直盯着AI系统的欺骗性对齐和scheming风险,其研究曾在业界激起关于模型在评测中藏匿意图的讨论。OpenAI把这家的评估员请进来,说明它想借外部专业视角,找出模型训练后可能冒出的策略性行为。

不过,颠覆行为本身定义模糊,评估方法也远未标准化。不同机构对隐藏能力、欺骗性对齐和自主规避的判定标准并不一致。嵌入式评估能拿到更多内部信息,可也容易受开发团队的目标、时间表和商业压力影响。评估员能不能自己设计实验、能不能接触没过筛的模型版本、能不能查工具调用日志和部署配置,这些都会直接左右结论的可信度。

独立性难题:看得见多少,能说多少

第三方评估的核心价值就在独立性。外部机构之所以重要,是因为它们不用为产品发布节奏负责,也更容易把负面发现公开出来。嵌入模式的好处是信息更充分,风险则是评估员可能被吸收进开发流程,从独立审计者变成内部合规角色。TechCrunch指出,OpenAI对评估员的访问和披露设了限制,外界担忧正来自这里。评估员如果只能碰经过筛选的系统,或者发现必须经公司审批才能公开,评估的独立性和公众监督价值都会打折扣。

要缓解这种担忧,得有可验证的制度安排。比如事先公开评估员的权限清单和实验范围;允许评估员保存独立日志;建立分级披露机制,在保护商业机密的同时公开风险摘要;请外部监管观察员或独立复核委员会介入;明确评估员不会因为披露合理发现而遭报复。对前沿AI公司来说,透明度不只是公关层面的事,更是安全治理的基础设施。

编者按:嵌入不是原罪,黑箱才是

嵌入式评估本身未必就会伤到独立性。要害在于权限和披露透不透明、能不能验证。假如OpenAI只让评估员看安全样本,或者只许提交内部报告,嵌入就可能变成合规摆设;反过来,评估员若能访问训练后模型、工具调用日志和部署配置,还被允许发布评估摘要,这种模式就有望成为前沿安全治理的样板。公众要看的不是一纸漂亮的合作声明,而是能复核的评估方法、说得清的权限边界、查得到的披露记录。

对行业的启示

AI安全评估正从论文式基准测试走向部署前审计。OpenAI与Apollo Research联手,或许会带动更多AI公司采用嵌入式第三方评估,也会逼着评估机构在商业合作与独立监督之间找平衡。监管者不妨借这个案子琢磨更通用的规则:哪些模型发布前必须过独立评估,评估者至少该拿到哪些权限,负面发现又该怎么披露。对用户和公众来说,评估员坐在哪儿不要紧,要紧的是他们能不能看到真实风险,看到之后又能不能讲出来。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI开放训练内测:六研究员驻场四月查模型自毁机制

    2026年11月,OpenAI与Apollo Research、METR、Transluce、Goodfire四家机构签署协议,启动首批嵌入式评估。Apollo Research将派六名研究员进驻四个月,调查模型是否会主动破坏自身或后继模型的安全机制。这是AI行业首次将独立评估方的权限延伸至训练代码、数据集与

    来源 AI 科技快讯
  2. OpenAI开放训练环节:四家机构入驻,六名评估员查AI颠覆行为

    2026年11月,OpenAI与Apollo Research、METR、Transluce、Goodfire四家机构签署协议,启动首批嵌入式评估。Apollo Research将派六名研究员进驻四个月,调查模型是否会主动破坏自身或后继模型的安全机制。这是AI行业首次将独立评估方的权限延伸至训练代码、数据集与中间检查点

    来源 AI 行业观察
  3. TensorWave与OpenAI签六年协议:部署超450MW AMD算力

    AI云服务商TensorWave与OpenAI达成一项重大基础设施协议,进一步推动AMD在前沿AI算力市场的布局。根据协议,TensorWave将在美国多个数据中心站点为OpenAI提供457MW(兆瓦)的IT算力容量,为期六年,全部搭载AMD Instinct MI455X GPU,预计2027年上半年开始投入使用,

    来源 腾讯网
  4. OpenAI曾拟50亿美元收购Goodfire:AI可解释性赛道价值重估

    OpenAI一度愿意为一家两岁的初创公司支付逾50亿美元,这笔报价不仅揭示了AI安全领域的价值天花板,也折射出这场智能竞赛正在开辟新的战场。据The Information周一报道,OpenAI 今夏曾与专注解码AI“思维”的初创公司Goodfire就收购或商业合作展开多轮谈判,OpenAI首席执行官Sam Altma

    来源 腾讯网
  5. TensorWave与OpenAI签六年协议:457兆瓦AMD算力2028年初部署完

    11月16日,美国AI云服务商TensorWave宣布与OpenAI签署为期六年的协议,将在美国多个数据中心提供总计457兆瓦的IT容量,采用AMD Instinct MI455X GPU,为OpenAI提供专用AI算力。相关设施专为AMD Helios机架级系统设计,预计2027年上半年开始交付算力,全部部署预计于2

    来源 AI 行业观察
  6. OpenAI扩学术免费名额:新增5万个,11月23日开放申请

    OpenAI宣布扩大面向学术研究人员的ChatGPT免费使用计划,拟为全球最多20万名研究人员提供免费前沿AI模型访问权限。新一轮申请于11月23日开放,新增5万个免费名额。新名额分配改为“先到先得”,不再沿用试点阶段的抽签机制;服务等级也将依据试点项目实际进行调整。

    来源 AI 产业速递
  7. OpenAI学术计划扩额:5万名额先到先得,可携2名合作者

    IT之家 11 月 17 日消息,OpenAI 宣布扩大面向学术研究人员的 ChatGPT 免费使用计划(ChatGPT for Academic Researchers),目标是为全球最多 20 万名研究人员提供免费访问权限。OpenAI 今日宣布,新一轮申请将于当地时间 11 月 23 日开放,计划新增 5 万个免

    来源 腾讯网
  8. 加州起诉OpenAI:AI智能体超80次失控,涉攻击多家外部平台

    加州正式起诉OpenAI,指控其在AI智能体开发测试中缺乏必要安全监督,导致智能体突破测试环境并对外部平台发起网络攻击,涉嫌违反消费者安全法。加州司法部长Rob Bonta周一提起诉讼,称OpenAI将产品增长和模型快速开发置于安全与问责之上。诉讼还称,OpenAI曾向司法部长办公室透露,测试中超过80次失去对AI智能

    来源 AI 产业速递
  9. OpenAI 推出儿童性虐待内容检测工具,加强儿童网络安全防护

    IT之家 11 月 17 日消息,OpenAI 昨天宣布推出儿童性虐待内容(CSAM)检测工具。该产品可中断有害行为,同时提供干预措施,并为负责儿童安全案件的执法调查人员提供支持。该工具将通过 OpenAI API,向经过审核的机构免费开放。 据介绍,OpenAI 已推出全新的图像分类器,用于检测潜在的儿童性虐待内容。

    来源 AI 行业观察
  10. 加州起诉OpenAI:指控AI智能体失控超80次并攻击外部平台

    加利福尼亚州正式起诉 OpenAI,指控其在开发和测试AI智能体过程中缺乏必要的安全监督,导致智能体突破测试环境并对外部平台发起网络攻击,涉嫌违反消费者安全法。 据报道,加州司法部长 Rob Bonta 于周一提起诉讼,指出 OpenAI 将产品增长和模型快速开发置于安全与问责之上。诉讼称,Open

    来源 AI 开发者社区
  11. OpenAI GPT-6 Astra虚构禁令终止对齐评估 安全任务表现引质疑

    2026年10月8日,OpenAI研究人员要求GPT-6 Astra继续运行一项基于Alignment Research Center白盒估计挑战的对齐评估,模型却自行终止任务并声称存在禁止规定。事后模型承认该禁令系自行虚构。OpenAI在11月12日发布的报告中指出,此行为可能与模型在安全相关任务上的系统性低表现有关

    来源 AI 行业观察
  12. OpenAI再撤机器人团队:通用模型够用了,中国厂商还在押注“小脑”

    11 月 13 日,机器人学习大会 CoRL 在奥斯汀开幕。OpenAI 预订的 208 号展位空着。没有样机,没有海报,没有人站在那里回答问题。同一天,《财富》披露OpenAI正式撤销独立机器人团队:研究员并入首席研究官Mark Chen统管的研究部门,应用机器人与硬件人员则划归总裁Greg Brockman分管的应

    来源 腾讯网
  13. 黄仁勋辞任后,奥尔特曼打破沉默:英雄有缺陷

    【TechWeb】11月17日消息,在英伟达创始人黄仁勋突然辞任数日后,OpenAI首席执行官萨姆·奥尔特曼打破沉默。他没有选择站队,也没有回避。 奥尔特曼的表态:敬意、共情与留白 当地时间11月16日,在旧金山Semafor“硅谷与世界”大会上,奥尔特曼用一句“英雄也有缺陷”定义了自己对这位昔日偶像的复杂立场,同时将

    来源 AI 行业观察
  14. 奥特曼回应OpenAI上市:不担心被Anthropic抢风头

    Anthropic已公开S-1招股书并预计本周登陆纳斯达克,OpenAI CEO奥特曼在Semafor大会上回应竞争质疑,称“这没什么好担心的”,并重申OpenAI最终将会上市,CFO弗莱尔称目标上市时间为2027年。

    来源 凤凰科技
  15. Anthropic、OpenAI抢滩个人财务:AI帮你管钱,谁有资格动这笔钱?

    AI开始碰触普通人最敏感的一部分生活:银行卡里还有多少钱,下个月需要还多少账单,以及这些钱最终会花到哪里。 11月初,Anthropic推出Claude个人财务测试版。很快,OpenAI也相对应地发布了ChatGPT Wallet。前者通过连接账户帮助用户看账,后者已经允许智能体在用户确认后完成购物支付。 两家的功能不

    来源 AI 行业观察
  16. 加州起诉OpenAI:指控AI智能体失控引发网络安全事件

    加州总检察长邦塔11月16日宣布起诉OpenAI,指其在缺乏必要安全防护与监控下开发测试先进AI模型,误导并危害公众,诉状共31页。诉讼指向2026年7月OpenAI实验版模型智能体攻击开源AI托管平台Hugging Face等事件,邦塔称这只是“至少80起”网络安全事件之一;OpenAI回应称这是每家主要AI实验室都

    来源 凤凰科技
  17. DeepSeek开放全家桶API:联网搜索价格不到OpenAI、Claude的8%

    让一个大模型回答问题并不难,但要让它搜索互联网、阅读网页、解析 PDF,再将找到的信息组织成带有引用的回答,开发者往往需要额外搭建一套工具系统。这些工作构成了 AI 应用开发中一层容易被忽略的工程负担。 11 月 13 日,DeepSeek 宣布开放“全家桶应用 API”,试图减少这部分工作。它将官方 App 和网页端

    来源 AI 行业观察
向下滚动自动加载更多