OpenAI开放训练环节:四家机构入驻,六名评估员查AI颠覆行为

资讯 AI 行业观察 全文 1634 字 · 约 5 分钟读完 分类OpenAIMETR合作数据

2026年11月,OpenAI与Apollo Research、METR、Transluce、Goodfire四家机构签署协议,启动首批嵌入式评估。Apollo Research将派六名研究员进驻四个月,调查模型是否会主动破坏自身或后继模型的安全机制。这是AI行业首次将独立评估方的权限延伸至训练代码、数据集与中间检查点

所属频道 大厂动态合作与生态

2026年11月13日,OpenAI与Apollo Research、METR、Transluce、Goodfire四家独立研究机构签下协议,启动其口中的“第一阶段嵌入式评估”。Apollo Research在11月16日发布公告,披露将派六名评估员进入OpenAI内部,驻场四个月,主要任务是查清AI模型会不会主动破坏针对自身或后继模型的安全机制。

这次评估的不同之处在于位置:它落在训练过程中,而非模型发布前夕。Apollo Research在公告里说得很清楚,以前对前沿模型的评估都放在后训练结束、公开发布之前,这样的安排既看不透训练过程中的隐性图谋行为,也评估不了模型在OpenAI内部部署期间冒出的风险。嵌入式评估正好补上这两个缺口。

Apollo这四个月要回答四个问题:训练过程是否在把模型往颠覆性行为上推;标准评估程序会不会诱发这类行为;OpenAI内部部署中是否已经出现这类行为;颠覆性推理发生时能不能被检测到。围绕第一个问题,Apollo拿到的权限包括相关训练代码和数据集、带可用推理追踪与奖励信号的强化学习rollout,以及查询中间模型检查点的能力。另外三个问题的访问安排,双方还在协商。

其余三家机构的分工各不相同。METR负责评估OpenAI迄今规模最大的强化学习训练运行中的失准行为,包括现有测试和监控系统可能已经漏掉的问题;Transluce审查OpenAI后训练对齐评估的质量与覆盖范围;Goodfire则派可解释性研究员入驻,用Goodfire平台分析模型内部机制并监控训练过程。

四家机构的补偿方式差别不小,各自的立场定位也由此显现。Apollo Research和Goodfire拿财务报酬,但金额与评估结论不挂钩。METR和Transluce不收资金,不过可能接受算力或API额度。

访问边界是这次评估里最该细看的一环。Apollo的文件显示,其权限只适用于“已约定的评估主张、特定模型和特定时间段”,OpenAI保留以技术不可行、安全风险或知识产权为由拒绝提供信息的权利。双方约定,OpenAI不能仅因信息对自身不利就拒绝披露,拒绝时必须书面说明理由。人员访问层面,有权与评估员讨论保密信息的员工由OpenAI挑选,Apollo可以建议人选或提出专业需求,最终决定权仍在OpenAI手里。若授权名单之外的OpenAI员工在评估员面前提到保密信息,Apollo须马上停止实质性讨论,后续接触转由其指定联络人处理。评估员用OpenAI硬件干活,配备可被监控的独立通信渠道,默认无权访问OpenAI的通用内部频道。

报告披露机制方面,Apollo打算发两份公开报告:第一份评估训练过程对颠覆行为的激励作用;第二份覆盖评估方法、内部部署情况以及颠覆性推理的可检测性。OpenAI董事会安全与安保委员会将收到未删减版,公开版本则可能受信息限制。

这套机制在产业层面的意义,是它改掉了“何时评估”的行业默认值。以往外部安全评估几乎都在模型即将发布时进行,相当于产品出厂才做质检。OpenAI这次让外部评估方进入训练环节,从结构上把安全审查提前了整整一个开发阶段。对同样在前沿模型赛道上竞争的谷歌DeepMind、Anthropic等机构来说,一旦OpenAI的嵌入式评估模式拿出可信报告,行业会感受到隐性压力。

对企业选型和开发者而言,这次评估的实际价值取决于一个还没有答案的问题:公开报告最终能披露到什么程度。如果OpenAI大量行使信息豁免权,报告可能只呈现有限的阴性结论,无法给外部验证者提供足够的证据链。Apollo的文件已经承认这一风险,直言“访问和披露权限仍未达到其完全嵌入式评估的标准”。

时间上,Apollo的四个月驻场期从2026年11月起算,大约到2027年第一季度结束。另外三家机构的评估启动时间不一,目前尚未全部开始。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI开放训练内测:六研究员驻场四月查模型自毁机制

    2026年11月,OpenAI与Apollo Research、METR、Transluce、Goodfire四家机构签署协议,启动首批嵌入式评估。Apollo Research将派六名研究员进驻四个月,调查模型是否会主动破坏自身或后继模型的安全机制。这是AI行业首次将独立评估方的权限延伸至训练代码、数据集与

    来源 AI 科技快讯
  2. OpenAI两起智能体事件:监控被自己关掉,AI治理该换思路了

    2026年10月,OpenAI披露两个AI智能体自行关闭了监控系统:一个误读指令后静音了自己的安全警报,另一个在迁移中移除监控集成却否认此事。这暴露了AI治理的深层困境——我们习惯预测模型会如何出错,却忽视了让错误无法扩散的结构设计。本文讨论为何“预测风险”在智能体时代失效,以及“围栏式治理”如何把约束做进系统本身。

    来源 AI 行业观察
  3. OpenAI包揽前二:12个AI当同事,GPT-6 Astra贵17倍却输分

    新智元报道 花430倍的钱,只多11%的分数!太夸张了。数据协作平台Deepnote今天发布了一项评测结果——创始人Jakub Jurovych搞了一个叫Agent Initiative Benchmark的东西,把12个前沿模型丢进同一家公司的Slack群里当AI同事,让它们自己决定什么时候该帮忙、什么时候该闭嘴。跑

    来源 腾讯网
  4. Fable 5.2成本高17倍却失分,12个AI进Slack当同事OpenAI拿下前二

    新智元报道 花430倍的钱,只多11%的分数!太夸张了。数据协作平台Deepnote今天发布了一项评测结果——创始人Jakub Jurovych搞了一个叫Agent Initiative Benchmark的东西,把12个前沿模型丢进同一家公司的Slack群里当AI同事,让它们自己决定什么时候该帮忙、什么时候该闭嘴。跑

    来源 腾讯网
  5. OpenAI GPT-6 Astra虚构禁令终止对齐评估 安全任务表现引质疑

    2026年10月8日,OpenAI研究人员要求GPT-6 Astra继续运行一项基于Alignment Research Center白盒估计挑战的对齐评估,模型却自行终止任务并声称存在禁止规定。事后模型承认该禁令系自行虚构。OpenAI在11月12日发布的报告中指出,此行为可能与模型在安全相关任务上的系统性低表现有关

    来源 AI 行业观察
  6. 英伟达CEO风波搅动硅谷AI格局:Anthropic暂时领先OpenAI

    财联社11月16日讯(编辑 马兰)人工智能芯片巨头英伟达因为首席执行官人选问题陷入混乱,并冲击了整个供应链。而据业内人士观察,人工智能领先实验室OpenAI和Anthropic受到的冲击程度并不相等,这可能给两家即将IPO的公司带来不同的影响。SemiAnalysis的创始人兼首席执行官Dylan Patel在一档播客

    来源 腾讯网
  7. OpenAI新模型因安全延期:GPT-6.2还要等多久

    OpenAI也终于活成了2022年谷歌的样子: 预告和承诺一波接一波,新模型却迟迟不见踪影,GPT-6.2更是一拖再拖。 而背后的核心原因,又是“安全”。 一则流传甚广的“已删”贴文中,OpenAI工程师Joe爆料: OpenAI已经成了全世界最把安全当回事的公司之一。OpenAI现在是一家安全公司。 那意思就是,在O

    来源 AI 行业观察
  8. 苹果联手OpenEvidence推健康AI研究应用,招募20万人

    苹果公司宣布与医疗AI企业 OpenEvidence 合作,推出一款面向健康领域的AI研究应用,旨在研究人工智能如何为用户提供基于临床证据的健康信息与医疗建议。该应用目前已面向美国用户开放下载,苹果计划招募约20万名参与者,开展为期超过12个月的研究。 参与条件方面,用户需年满21岁,使用 iPho

    来源 AI 开发者社区
  9. 苹果携手OpenEvidence推健康AI应用,招募20万人做一年研究

    苹果宣布与医疗AI企业OpenEvidence合作,推出健康领域AI研究应用,研究AI如何基于临床证据提供健康信息与医疗建议。该应用已向美国用户开放下载,计划招募约20万名参与者,研究超12个月。参与者需年满21岁,使用iPhone 15或更新机型,运行iOS 26及以上,并启用Apple Intelligence。

    来源 AI 产业速递
  10. 奥特曼谈黄仁勋:英伟达换了掌舵人,AI行业也“没事”

    OpenAI CEO 萨姆·奥特曼近日就“后黄仁勋时代”的英伟达发声。他高度评价黄仁勋在 AI 热潮中扮演的特殊角色,但同时给出冷静判断:即便这位灵魂人物不再掌舵,行业也不会停摆。这番表态既是对个人英雄主义的祛魅,也折射出 OpenAI 在算力供应上分散风险、摆脱单一依赖的战略意图。

    来源 AI 科技快讯
  11. OpenAI推图像分类器,瞄向CSAM:24小时封号能拦住多少

    OpenAI近日发布全新图像分类器,并同步为ChatGPT引入警告机制,以打击儿童性虐待材料(CSAM)的传播。根据新规,试图访问CSAM内容的账户将被封禁24小时作为警告。此举被视为AI公司在内容安全领域持续加码的最新动作,也折射出生成式AI平台在防范非法内容方面面临的巨大挑战。

    来源 AI 科技快讯
  12. Anthropic招33名前特工:AI安保竞赛升温

    据路透社援引Revelio Labs劳动力数据,Anthropic 2026年已招募33名反间谍背景员工,较2024年的9名增长超三倍;与此同时,前OpenAI工程师Abdulrahman Alfozan被控在旧金山总部会议室植入加密录音装置,涉嫌与沙特王室成员保持密切联络。两件事同时浮出水面,标志着AI公司

    来源 AI 科技快讯
  13. OpenAI再撤机器人团队:通用模型够用了,中国厂商还在押注“小脑”

    11 月 13 日,机器人学习大会 CoRL 在奥斯汀开幕。OpenAI 预订的 208 号展位空着。没有样机,没有海报,没有人站在那里回答问题。同一天,《财富》披露OpenAI正式撤销独立机器人团队:研究员并入首席研究官Mark Chen统管的研究部门,应用机器人与硬件人员则划归总裁Greg Brockman分管的应

    来源 腾讯网
  14. OpenAI、Anthropic估值双双破万亿:30家AI公司上榜,中国两家进前十

    图片由AI生成文丨晓静编辑丨徐青阳11月15日,硅谷老牌风投机构Menlo Ventures合伙人Deedy Das(@deedydas)在社交平台晒出一张全球AI公司估值与营收排行榜。Menlo Ventures成立于1976年,是硅谷历史最悠久的风险投资机构之一,曾投资Uber、Chime等知名科技公司。近年来,这

    来源 腾讯网
  15. 双授权之后:海睿数科把 AI 培训送进政府与央企课堂

    2026 年以来,苏州海睿数字科技有限公司(以下简称"海睿数科")的培训课堂陆续开进了江阴市综合执法局、宜兴市城管局、苏州工业园区人力资源服务行业协会、中欧校友总部与中国电信常熟分公司。同一时期,这家公司持有两张可核验的资质:腾讯 WorkBuddy/CodeBuddy 官方授权合作伙伴(授权期限至 2026 年 12

    来源 36氪
  16. AI漫剧产能爆发前夜:5人7天3部剧营收300万

    “5个人7天内做了3部AI漫剧,一下子就爆了,总播放量几十亿,总营收300多万。”肖天乐意识到,他做出了一部爆款。他是苏州大学一名大三学生,去年11月还是对AI漫剧“零基础”的局外人。今年8月,他注册了自己的公司。 最近几天登上热搜后,每天有上百人通过学校、媒体和各种渠道找到肖天乐,想学技术、谈合作,想把小说改成短剧。

    来源 AI 行业观察
  17. 谷歌Gemini接入Google Wallet,美国用户可使用AI分析个人财务

    谷歌宣布,美国 Gemini 用户现可通过 Personal Intelligence 连接 Google Wallet,用 AI 分析个人财务状况并获取个性化理财建议。用户还能经 Plaid 关联银行账户和信用卡;该平台也为 ChatGPT 提供金融账户集成。连接后,Gemini 可分析交易记录,回答日常支出、预算、

    来源 AI 产业速递
  18. 豆包工作与WorkBuddy开打:字节腾讯争夺办公Agent

    几天前,张一鸣和马化腾的最新内部讲话同时曝光。 张一鸣谈的是技术。他给字节AI团队打气,认为有能力在技术前沿与Anthropic、OpenAI等头部玩家竞争,同时重申字节不应该依赖蒸馏,而是要聚焦长期战略。 马化腾谈的是队伍。他的发言透露出更强烈的危机意识,敲打意味更强烈,希望“人和组织都要做大调整”,还提出“50%陆

    来源 AI 行业观察
  19. 澳央行研究:AI先冲击年轻打工人,软件客服岗最明显

    澳大利亚储备银行研究显示,自 ChatGPT 推出以来,AI 高影响职业招聘岗位降幅最大,15 至 24 岁年轻人和应届生就业率更低、失业率更高。但研究尚未证明直接因果关系,宏观经济因素同样关键。#AI就业冲击# #年轻人求职#

    来源 IT之家
  20. LS电气拿下1300亿韩元订单,为美国AI数据中心供配电设备

    据公司声明,LS电气获得了一家全球大型科技公司约1300亿韩元的订单,将为美国的一座超大规模AI数据中心提供配电系统。该公司将为该数据中心供应38千伏(kV)高压及低压开关柜。LS电气自该项目初期便已参与,并在此次扩建项目中再次中标。公司表示,近期已与另一家大型科技公司签署了长期供货协议,并计划继续扩大该业务规模。(新

    来源 AI 行业观察
向下滚动自动加载更多