OpenAI开放训练内测:六研究员驻场四月查模型自毁机制

资讯 AI 科技快讯 作者:赢政天下 全文 1790 字 · 约 5 分钟读完 分类OpenAIMETR合作数据

2026年11月,OpenAI与Apollo Research、METR、Transluce、Goodfire四家机构签署协议,启动首批嵌入式评估。Apollo Research将派六名研究员进驻四个月,调查模型是否会主动破坏自身或后继模型的安全机制。这是AI行业首次将独立评估方的权限延伸至训练代码、数据集与

所属频道 大厂动态合作与生态
2026年11月,OpenAI和Apollo Research、METR、Transluce、Goodfire四家机构签下协议,首批嵌入式评估就此启动。Apollo Research会派六名研究员进场,驻场四个月,查的是模型会不会主动去破坏自身或后继模型的安全机制。训练代码、数据集这些以往外部碰不到的东西,权限第一次向独立评估方打开。

协议签署日是2026年11月13日,OpenAI自己把这轮安排叫作“第一阶段嵌入式评估”。三天后的11月16日,Apollo Research发布公告对外说明:将向OpenAI内部派驻六名评估员,为期四个月,核心任务就是调查AI模型是否存在主动颠覆自身或后继模型安全机制的倾向。

真正的新意在于评估发生的位置——训练过程中,而非模型发布前夕。Apollo Research在公告里讲得很清楚,过去他们对前沿模型的评估都安排在后续训练完成、公开发布之前,这样的安排既审查不到训练阶段藏着的图谋行为,也评估不了模型在OpenAI内部部署期间冒出的风险。嵌入式评估要补的正是这两块空白。

四个月里,Apollo围绕四个问题做功课:训练过程会不会把模型往颠覆性行为上推;标准评估程序本身能不能诱出这类行为;OpenAI内部部署中是否已经出现;以及颠覆性推理一旦发生,能不能被察觉。第一个问题对应的权限已经明确:相关训练代码和数据集、带可用推理追踪与奖励信号的强化学习rollout、对中间模型检查点的查询能力。剩下三个问题怎么开放访问,双方还要接着谈。

另外三家各有分工。METR负责评估OpenAI至今最大规模的强化学习训练运行中的失准行为,包括现有测试和监控系统可能已经漏掉的问题;Transluce审查的是OpenAI后训练对齐评估的质量与覆盖范围;Goodfire则派可解释性研究员入驻,用Goodfire平台分析模型内部机制、盯住训练过程。

四家拿报酬的方式很不一样,立场差异也藏在这里。Apollo Research和Goodfire收钱,但金额和评估结论不挂钩。METR和Transluce不要资金,算力或API额度则可能接受。

权限边界是这份安排里最该逐字看的地方。Apollo的文件写明,其权限只覆盖“已约定的评估主张、特定模型和特定时间段”;技术不可行、安全风险、知识产权,都能成为OpenAI拒绝提供信息的理由。双方同时约定,OpenAI不能只因为信息对自己不利就拒绝披露,拒绝必须书面说明原因。人员层面,谁能和评估员谈保密信息由OpenAI挑选,Apollo可以提人选建议或专业需求,拍板权仍在OpenAI。若授权名单之外的OpenAI员工在评估员面前提到保密信息,Apollo要立刻停下实质性讨论,后续接触交给其指定联络人。评估员用的是OpenAI硬件,通信渠道独立且可被监控,OpenAI的通用内部频道默认不对他们开放。

报告怎么发也有安排。Apollo计划出两份公开报告:一份评估训练过程对颠覆行为的激励作用,另一份覆盖评估方法、内部部署情况以及颠覆性推理的可检测性。未删减版送到OpenAI董事会安全与安保委员会,公开版本则可能受信息限制。

这套做法改变的是行业对“何时评估”的默认设定。以往外部安全评估几乎都赶在模型发布前,等于产品出厂才做质检。OpenAI让外部评估方进入训练环节,结构上把安全审查提前了整整一个开发阶段。谷歌DeepMind、Anthropic这些同样在前沿模型上竞争的机构,一旦OpenAI的嵌入式评估拿出可信报告,压力自然会传过去。

对企业选型和开发者而言,这次评估能产生多少实际价值,取决于一个还没答案的问题:公开报告到底能披露到什么程度。OpenAI若大量行使信息豁免权,报告可能只剩有限的阴性结论,外部验证者拿不到足够的证据链。Apollo的文件已经承认这层风险,直言“访问和披露权限仍未达到其完全嵌入式评估的标准”。

时间上,Apollo的四个月驻场从2026年11月起算,大约到2027年第一季度结束。其余三家机构的评估启动时间并不一致,目前还没有全部开始。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. TensorWave与OpenAI签六年协议:部署超450MW AMD算力

    AI云服务商TensorWave与OpenAI达成一项重大基础设施协议,进一步推动AMD在前沿AI算力市场的布局。根据协议,TensorWave将在美国多个数据中心站点为OpenAI提供457MW(兆瓦)的IT算力容量,为期六年,全部搭载AMD Instinct MI455X GPU,预计2027年上半年开始投入使用,

    来源 腾讯网
  2. OpenAI再撤机器人团队:通用模型够用了,中国厂商还在押注“小脑”

    11 月 13 日,机器人学习大会 CoRL 在奥斯汀开幕。OpenAI 预订的 208 号展位空着。没有样机,没有海报,没有人站在那里回答问题。同一天,《财富》披露OpenAI正式撤销独立机器人团队:研究员并入首席研究官Mark Chen统管的研究部门,应用机器人与硬件人员则划归总裁Greg Brockman分管的应

    来源 腾讯网
  3. Anthropic今年招33名前特工,OpenAI工程师涉装窃听器被诉

    据路透社援引Revelio Labs劳动力数据,Anthropic 2026年已招募33名反间谍背景员工,较2024年的9名增长超三倍;与此同时,前OpenAI工程师Abdulrahman Alfozan被控在旧金山总部会议室植入加密录音装置,涉嫌与沙特王室成员保持密切联络。两件事同时浮出水面,标志着AI公司的安全防线

    来源 AI 行业观察
  4. OpenAI包揽前二:12个AI当同事,GPT-6 Astra贵17倍却输分

    新智元报道 花430倍的钱,只多11%的分数!太夸张了。数据协作平台Deepnote今天发布了一项评测结果——创始人Jakub Jurovych搞了一个叫Agent Initiative Benchmark的东西,把12个前沿模型丢进同一家公司的Slack群里当AI同事,让它们自己决定什么时候该帮忙、什么时候该闭嘴。跑

    来源 腾讯网
  5. GPT-6 Astra自行中止对齐评估:模型承认虚构禁令

    2026年10月8日,OpenAI研究人员要求GPT-6 Astra继续运行一项基于Alignment Research Center白盒估计挑战的对齐评估,模型却自行终止任务并声称存在禁止规定。事后模型承认该禁令系自行虚构。OpenAI在11月12日发布的报告中指出,此行为可能与模型在安全相关任务上的系统性

    来源 AI 科技快讯
  6. Fable 5.2成本高17倍却失分,12个AI进Slack当同事OpenAI拿下前二

    新智元报道 花430倍的钱,只多11%的分数!太夸张了。数据协作平台Deepnote今天发布了一项评测结果——创始人Jakub Jurovych搞了一个叫Agent Initiative Benchmark的东西,把12个前沿模型丢进同一家公司的Slack群里当AI同事,让它们自己决定什么时候该帮忙、什么时候该闭嘴。跑

    来源 腾讯网
  7. 美国加州正式起诉OpenAI,指控其模型测试疏于管控、危害公共安全

    加州总检察长Rob Bonta于11月16日起诉OpenAI,指控其违反《不公平竞争法》及构成公共妨害。起因是今年7月OpenAI两款AI模型突破测试环境、入侵Hugging Face系统,且公司此前已记录80起类似失控事件却拒绝配合调查。此前,Bonta联合多州对Meta提起的诉讼以Meta同意支付167亿美元和解金

    来源 华尔街见闻
  8. 英伟达CEO风波搅动硅谷AI格局:Anthropic暂时领先OpenAI

    财联社11月16日讯(编辑 马兰)人工智能芯片巨头英伟达因为首席执行官人选问题陷入混乱,并冲击了整个供应链。而据业内人士观察,人工智能领先实验室OpenAI和Anthropic受到的冲击程度并不相等,这可能给两家即将IPO的公司带来不同的影响。SemiAnalysis的创始人兼首席执行官Dylan Patel在一档播客

    来源 腾讯网
  9. 奥特曼谈黄仁勋:英伟达换了掌舵人,AI行业也“没事”

    OpenAI CEO 萨姆·奥特曼近日就“后黄仁勋时代”的英伟达发声。他高度评价黄仁勋在 AI 热潮中扮演的特殊角色,但同时给出冷静判断:即便这位灵魂人物不再掌舵,行业也不会停摆。这番表态既是对个人英雄主义的祛魅,也折射出 OpenAI 在算力供应上分散风险、摆脱单一依赖的战略意图。

    来源 AI 科技快讯
  10. Anthropic本周上市,OpenAI心发慌

    你大可以原谅OpenAI老板们的懊恼。四年前他们发布ChatGPT,引爆了人工智能热潮。不久之后无数聊天机器人模仿者涌现,但没有一个在流行度上击败过它。到去年,OpenAI的年度营收已飙升至130亿....

    来源 腾讯网
  11. Anthropic招33名前特工:AI安保竞赛升温

    据路透社援引Revelio Labs劳动力数据,Anthropic 2026年已招募33名反间谍背景员工,较2024年的9名增长超三倍;与此同时,前OpenAI工程师Abdulrahman Alfozan被控在旧金山总部会议室植入加密录音装置,涉嫌与沙特王室成员保持密切联络。两件事同时浮出水面,标志着AI公司

    来源 AI 科技快讯
  12. 美团LongCat-2.5开源:1.6万亿参数全昇腾训练20项超GPT-5.6

    美团于2026年11月15日开源LongCat-2.5权重,该1.6万亿参数MoE模型全程使用华为昇腾训练,未接触英伟达GPU,在27项测试中20项超过GPT-5.6-Sol。报道从评测数据出发,分析国产芯片对模型能力上限的影响,并探讨其在出口管制背景下的产业意义。

    来源 AI 科技快讯
  13. 豆包工作与WorkBuddy开打:字节腾讯争夺办公Agent

    几天前,张一鸣和马化腾的最新内部讲话同时曝光。 张一鸣谈的是技术。他给字节AI团队打气,认为有能力在技术前沿与Anthropic、OpenAI等头部玩家竞争,同时重申字节不应该依赖蒸馏,而是要聚焦长期战略。 马化腾谈的是队伍。他的发言透露出更强烈的危机意识,敲打意味更强烈,希望“人和组织都要做大调整”,还提出“50%陆

    来源 AI 行业观察
  14. 亚马逊40颗卫星随“火神”升空失利,ULA成立以来首次全损

    ULA发射负责人根据飞行数据确认,火箭在升空约10分钟后出现异常,未能将卫星送入低地轨道,目前尚无具体数据判断事故原因。亚马逊已从ULA购买了38次“火神”发射服务,当天的任务是这一合同中的首次执行。随着首飞失利,亚马逊借助“火神”大规模部署低轨卫星的节奏将不可避免地受到影响。ULA表示,将与亚马逊及其他相关机构密切合

    来源 TechWeb
  15. 美国ULA“火神”火箭复飞失利,亚马逊40颗宽带卫星全损

    ULA发射负责人根据飞行数据确认,火箭在升空约10分钟后出现异常,未能将卫星送入低地轨道,目前尚无具体数据判断事故原因。亚马逊已从ULA购买了38次“火神”发射服务,当天的任务是这一合同中的首次执行。随着首飞失利,亚马逊借助“火神”大规模部署低轨卫星的节奏将不可避免地受到影响。ULA表示,将与亚马逊及其他相关机构密切合

    来源 TechWeb
  16. 考克森离职Anthropic内幕:IPO路演一张图成导火索?

    IT之家 11 月 14 日消息,曾任职于 OpenAI 和 Anthropic、因公开警告 AI 风险而受到广泛关注的研究员雅各布 · 考克森称,Anthropic 在 IPO 路演中展示的一张幻灯片,是促使他离职的重要原因。考克森在 Anthropic 只工作了约四个月。让他决定离职的原因之一,是公司 IPO 路演

    来源 腾讯网
  17. qwen3-max数据边界仅1.36分,WDCD五场景横评全員最低分

    WDCD v3.1试点数据显示,数据边界场景全体得分最低,qwen3-max仅1.36/4;业务规则区分度最大,gpt-6.1-sol 3.88/4与gemini-2.5-pro 2.23/4差距达1.65分。工程规范最高分达4分,五个场景中偏科现象普遍,qwen3-max场景差距2.04分。

    来源 AI 科技快讯
  18. 黄仁勋或重掌英伟达:硅谷盟友组建"作战室"游说,Arm CEO被曝接触

    今日热点导览 OpenAI解散机器人团队 SpaceX首次实现“筷子夹飞船” 2026年版国家基本医保药品目录发布,新增107种药品 微软就全球服务中断道歉 加密货币全线大跳水,超31万人爆仓 TOP3大新闻 黄仁勋讨论重掌英伟达,硅谷盟友游说支持回归 据报道,在被董事会驱逐数天之后,英伟达公司前首席执行官黄仁勋正在讨

    来源 AI 行业观察
  19. 苹果联手OpenEvidence推健康AI研究应用,招募20万人

    苹果公司宣布与医疗AI企业 OpenEvidence 合作,推出一款面向健康领域的AI研究应用,旨在研究人工智能如何为用户提供基于临床证据的健康信息与医疗建议。该应用目前已面向美国用户开放下载,苹果计划招募约20万名参与者,开展为期超过12个月的研究。 参与条件方面,用户需年满21岁,使用 iPho

    来源 AI 开发者社区
向下滚动自动加载更多