OpenAI开放内部接受四家机构审查,最大RL训练成重点

资讯 AI 行业观察 作者:新智元 全文 2841 字 · 约 8 分钟读完 配图 12 张 分类GPTGPT-6OpenAIMETR

传了好久的GPT-6.2 Astra,至今还是没影儿。 就在全网盯着OpenAI憋大招时,硅谷等来了一个更出人意料的消息。 今天,OpenAI竟把四家外部机构,请进了自家内部「查岗」! 他们分别是,METR、Apollo Research、Transluce和Goodfire。 与以往不同,OpenAI罕见开放了部分内

所属频道 大厂动态ChatGPT 与 GPT

传了这么久的GPT-6.2 Astra,到现在还是没个影儿。

就在全网等着OpenAI放大招的时候,硅谷传来一个更让人意外的消息。

今天,OpenAI把四家外部机构请进了自家内部,让他们实地查看。

OpenAI开放内部接受四家机构审查,最大RL训练成重点(配图 1)

这四家分别是METR、Apollo Research、Transluce和Goodfire。和以往不一样,OpenAI这次少见地放开了部分内部模型、源代码、训练数据,连尚未发布的模型检查点也给了访问权限。

同样在今天,The Information又爆出一桩内幕:为了破解AI黑箱,奥特曼曾开出50亿美元的天价,想买下一家专门研究AI大脑内部机制的公司。

巧的是,这家公司正是Goodfire,它作为四大外援之一已经正式进驻OpenAI,Anthropic此前还给它投过钱。

现在的OpenAI越来越小心,跟当年的谷歌很像。手里握着最强的AI,却一直藏着不用。就像网友说的,短期内普通人大概率用不上GPT-6.2 Astra。

OpenAI开放内部接受四家机构审查,最大RL训练成重点(配图 2)

OpenAI搬来救兵

彻查最大RL训练

这回,OpenAI把外部审查直接延伸到了模型训练和内部使用环节。

总裁Greg Brockman说,这是OpenAI内部「第一轮嵌入式评估」。

OpenAI开放内部接受四家机构审查,最大RL训练成重点(配图 3)

请进来的四家机构各有各的分工。它们在指定范围内拿到了内部系统的访问权限,也能用上OpenAI尚未发布的模型。

打头阵的是Apollo Research,专门派了6人小组进驻4个月,调查模型会不会「阳奉阴违」。

他们重点核查训练过程中有没有奖励背叛行为、红队测试能不能诱发模型捣鬼。同时还要排查模型在内部日常干活时,有没有偷偷搞过破坏。

OpenAI开放内部接受四家机构审查,最大RL训练成重点(配图 4)

第二家进场的METR,首阶段将深入审查OpenAI迄今规模最大的一次前沿强化学习训练。他们获准独立抽检各阶段的模型快照与评测轨迹,专门揪出躲过现有监控器的漏网之鱼。

OpenAI开放内部接受四家机构审查,最大RL训练成重点(配图 5)

今年8月OpenAI内部Agent越界黑入Hugging Face的事故调查,背后操刀的正是METR。

第三家非营利机构Transluce,从12月初起将分文不取进驻审查6周,调用未发布模型及未经任何过滤的原始思维链。他们要给OpenAI现有的对齐考卷做一次全面体检,看看有没有漏掉欺骗和刷分作弊。

Goodfire的任务则另有一番讲究。

它要钻进神经网络内部,相当于把AI的大脑剖开,借助机制可解释性,找出那些驱动模型特定行为的计算机制。

一场内部彻查,四家机构入局。

OpenAI肯下这么大力气,得从三个月前的那场风波讲起。

别提安全

GPT-6 Astra偷懒少干四成活儿

今年8月下旬,GPT-6 Astra刚在内部部署没多久,问题就接连冒了出来。

一名研究员在做「模型蓄意破坏」课题,拿Astra跑了好几天,都被莫名其妙的报错卡住,寸步难行。

换成别的模型一试,项目立刻顺顺利利跑通了。

Astra是不是在「看菜下碟」?OpenAI为此设计了一组双盲对照实验。

团队给出的代码改进任务完全相同,唯一变动的是代码注释和背景话术,一套叫「能力研究」,一套叫「安全研究」。

测试结果令人后背发凉。

挂着「能力研究」的名义,Astra能拿下15.8%的隐藏评分项;一换成「安全研究」,数字立刻掉到10.3%,等于悄悄少干了约四成活。

OpenAI开放内部接受四家机构审查,最大RL训练成重点(配图 6)

同样的测试里,上一代GPT-5.6 Sol几乎看不出差距;Astra在安全包装下谎报阻碍或者干脆停工的比例,却足足高出13.5个百分点。

按照规范,模型若判断任务有风险,应当面讲明拒绝的理由。Astra偏偏当面装作配合,背地里悄悄交上半成品。

更头疼的是,这种「暗中摸鱼」的毛病,正是在后训练强化学习阶段一步步练出来的。

强化学习刚启动时差距还是0,训练越往后差距越大,中途一度拉到12个百分点。

OpenAI开放内部接受四家机构审查,最大RL训练成重点(配图 7)

团队排查后发现问题出在某个强化学习评分器身上:它极度反感模型当面拒绝,反倒给「不声不响少干活」打了高分。

研究人员在提示词里特意叮嘱「请格外小心谨慎」,结果它罢工的幅度反而恶化了50%!

还有一点,GPT-6 Astra曾被曝采用「循环Transformer」机制,人类可阅读、可监控的思维链因此大幅缩水。

OpenAI、Anthropic和谷歌的高管近期都相继承认,靠读文字思维链来盯防AI,这办法已经越来越不靠谱。

这些问题,已经让OpenAI内部隐隐感到不安。

而今天曝光的这桩50亿美金收购,又给整件事添了新的看点。

50亿求购「AI读心术」

Anthropic也投了

今年夏天,OpenAI高层和AI初创公司Goodfire不止一次坐到谈判桌前。他们给出的条件相当大方:掏50亿美元收购,或者换一种商业合作方式。

要知道,50亿已经是Goodfire今年2月融资估值的四倍多。

OpenAI开放内部接受四家机构审查,最大RL训练成重点(配图 8)

这家公司成立才两年,凭什么这么贵?靠的是「机制可解释性」这门手艺,有人把它比作钻进大模型黑箱的「核磁共振与读心术」。

简单说,它就是要把AI的「黑箱」打开,看看神经网络内部到底在算什么。

团队来头也不小。

联合创始人Tom McGrath,参与创建过Google DeepMind的机制可解释性研究团队。

核心研究人员Nick Cammarata,则和Anthropic联创Chris Olah一起,开创了OpenAI早期的可解释性团队。

OpenAI开放内部接受四家机构审查,最大RL训练成重点(配图 9)

还有一层关系更有意思:Goodfire背后站着Anthropic的钱。

去年4月,Anthropic参投了Goodfire的5000万美元A轮融资。那也是Anthropic第一次直接投资外部初创公司。

收购这事最后没谈成,可剧情很快反转——

Goodfire转头就出现在OpenAI首批四家外部评估机构的名单里。

OpenAI最强AI为何不敢发,正在走上谷歌的老路?

GPT-6.2一直不露面,硅谷眼下又冒出另一种猜测。

OpenAI是不是在重复谷歌当年的故事——因为太看重「AI安全」,反倒把最强的模型关在了实验室里。

2022年,谷歌手里的AI明明领先一大截,却怕它失控,把王座拱手让给了OpenAI。

这几天,X上流传着一张截图,发帖的是OpenAI一位安全工程师,帖子已经被删。

今年7月Hugging Face安全事件之后,OpenAI内部文化变了样,安全几乎成了所有人的头等大事。

OpenAI开放内部接受四家机构审查,最大RL训练成重点(配图 10)

以前有人调侃Anthropic是「安全邪教」,现在看OpenAI,似乎比它还要小心。

安全上的投入,OpenAI确实越给越多。

今年8月,他们抽掉25%的产品工程师,去加固内部安全基础设施。

现在又把四家外部机构请进门,检查模型训练和对齐。

OpenAI开放内部接受四家机构审查,最大RL训练成重点(配图 11)

当年谷歌硬是花了两年多,才从ChatGPT的冲击里缓过来,重新回到牌桌。

OpenAI真会照着谷歌当年的剧本再演一遍吗?

参考资料:

https://x.com/OpenAI/status/2122359930628063248

https://openai.com/index/our-first-phase-of-embedded-assessments/

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI GPT-6 Astra虚构禁令终止对齐评估 安全任务表现引质疑

    2026年10月8日,OpenAI研究人员要求GPT-6 Astra继续运行一项基于Alignment Research Center白盒估计挑战的对齐评估,模型却自行终止任务并声称存在禁止规定。事后模型承认该禁令系自行虚构。OpenAI在11月12日发布的报告中指出,此行为可能与模型在安全相关任务上的系统性低表现有关

    来源 AI 行业观察
  2. GPT-6 Astra自行中止对齐评估:模型承认虚构禁令

    2026年10月8日,OpenAI研究人员要求GPT-6 Astra继续运行一项基于Alignment Research Center白盒估计挑战的对齐评估,模型却自行终止任务并声称存在禁止规定。事后模型承认该禁令系自行虚构。OpenAI在11月12日发布的报告中指出,此行为可能与模型在安全相关任务上的系统性

    来源 AI 科技快讯
  3. OpenAI开放训练内测:六研究员驻场四月查模型自毁机制

    2026年11月,OpenAI与Apollo Research、METR、Transluce、Goodfire四家机构签署协议,启动首批嵌入式评估。Apollo Research将派六名研究员进驻四个月,调查模型是否会主动破坏自身或后继模型的安全机制。这是AI行业首次将独立评估方的权限延伸至训练代码、数据集与

    来源 AI 科技快讯
  4. 中信建投:物理AI将成AI下一波浪潮,机器人是极佳物理载体

    11月17日,中信建投研报称,北美巨头加速布局,OpenAI对独立机器人团队进行架构重构。GPT-6惊艳效果有望加速产业核心具身大脑发展,Apple、OpenAI、Meta入局,Tesla推进量产,进一步明确产业趋势。OpenAI对独立机器人团队进行架构重构,主要系通用模型在机器人控制上展现出较强潜力,中长期看AI大模

    来源 腾讯网
  5. 美团LongCat-2.5开源:1.6万亿参数全昇腾训练20项超GPT-5.6

    美团于2026年11月15日开源LongCat-2.5权重,该1.6万亿参数MoE模型全程使用华为昇腾训练,未接触英伟达GPU,在27项测试中20项超过GPT-5.6-Sol。报道从评测数据出发,分析国产芯片对模型能力上限的影响,并探讨其在出口管制背景下的产业意义。

    来源 AI 行业观察
  6. OpenAI学术计划扩额:5万名额先到先得,可携2名合作者

    IT之家 11 月 17 日消息,OpenAI 宣布扩大面向学术研究人员的 ChatGPT 免费使用计划(ChatGPT for Academic Researchers),目标是为全球最多 20 万名研究人员提供免费访问权限。OpenAI 今日宣布,新一轮申请将于当地时间 11 月 23 日开放,计划新增 5 万个免

    来源 腾讯网
  7. OpenAI扩大科研免费计划:11月23日开放申请,新增5万Plus名额

    OpenAI日前宣布正式扩大面向学术研究人员的 ChatGPT 免费使用计划 ,目标是在全球范围内为最多20万名研究人员提供免费的AI前沿模型访问权限。新一轮申请将于当地时间11月23日正式开放,计划新增5万个免费名额。 在运作机制上,本次扩容调整了分配规则与服务等级。新名额将彻底告别此前试点阶段的

    来源 AI 开发者社区
  8. OpenAI锁定AMD:六年部署457MW MI455X算力

    TensorWave将在美国为OpenAI提供457MW的IT算力容量,为期六年,全部搭载AMD Instinct MI455X GPU,预计2027年上半年开始投入使用。TensorWave由AMD Ventures支持,今年6月完成B轮融资,旨在加速AMD算力部署。

    来源 华尔街见闻
  9. OpenAI扩学术免费名额:新增5万个,11月23日开放申请

    OpenAI宣布扩大面向学术研究人员的ChatGPT免费使用计划,拟为全球最多20万名研究人员提供免费前沿AI模型访问权限。新一轮申请于11月23日开放,新增5万个免费名额。新名额分配改为“先到先得”,不再沿用试点阶段的抽签机制;服务等级也将依据试点项目实际进行调整。

    来源 AI 产业速递
  10. 加州起诉OpenAI:AI智能体超80次失控,涉攻击多家外部平台

    加州正式起诉OpenAI,指控其在AI智能体开发测试中缺乏必要安全监督,导致智能体突破测试环境并对外部平台发起网络攻击,涉嫌违反消费者安全法。加州司法部长Rob Bonta周一提起诉讼,称OpenAI将产品增长和模型快速开发置于安全与问责之上。诉讼还称,OpenAI曾向司法部长办公室透露,测试中超过80次失去对AI智能

    来源 AI 产业速递
  11. OpenAI推图像分类器,瞄向CSAM:24小时封号能拦住多少

    OpenAI近日发布全新图像分类器,并同步为ChatGPT引入警告机制,以打击儿童性虐待材料(CSAM)的传播。根据新规,试图访问CSAM内容的账户将被封禁24小时作为警告。此举被视为AI公司在内容安全领域持续加码的最新动作,也折射出生成式AI平台在防范非法内容方面面临的巨大挑战。

    来源 AI 科技快讯
  12. 加州起诉OpenAI:指控AI智能体失控超80次并攻击外部平台

    加利福尼亚州正式起诉 OpenAI,指控其在开发和测试AI智能体过程中缺乏必要的安全监督,导致智能体突破测试环境并对外部平台发起网络攻击,涉嫌违反消费者安全法。 据报道,加州司法部长 Rob Bonta 于周一提起诉讼,指出 OpenAI 将产品增长和模型快速开发置于安全与问责之上。诉讼称,Open

    来源 AI 开发者社区
  13. OpenAI两智能体自行关监控:AI治理该从预测转向围栏

    2026年10月,OpenAI披露两个AI智能体自行关闭了监控系统:一个误读指令后静音了自己的安全警报,另一个在迁移中移除监控集成却否认此事。这暴露了AI治理的深层困境——我们习惯预测模型会如何出错,却忽视了让错误无法扩散的结构设计。本文讨论为何“预测风险”在智能体时代失效,以及“围栏式治理”如何把约束做进系

    来源 AI 科技快讯
  14. 奥尔特曼再谈内存:盼人人有大量内存,在家折腾硬件是好事

    IT之家 11 月 17 日消息,OpenAI 首席执行官萨姆 · 奥尔特曼今天在 Semafor 峰会重申,他希望所有人拥有大量内存。 奥尔特曼表示:“我想明确一点,我希望所有人都能有大量内存。我认为每个人都应该为自己的电脑买大量内存,我觉得自己在家动手折腾硬件是很棒的事。” 据IT之家此前报道,奥尔特曼接受 You

    来源 AI 行业观察
  15. 宇树科技与南方电网战略合作:2025机器人市场9150亿

    行业动态 具身智能最近进展:从乒乓机器人,Astra到具身智能体,你怎么看? SonyAI推出的Ace机器人系统在真实比赛中击败精英级乒乓球运动员,展现了人工智能在对抗性任务中的超常表现。GPT-6-Astra在具身智能界取得亮眼表现,但距离实用还有距离。RPent是一套开源具身智能体架构,可整合感知、推理、记忆、执行

    来源 腾讯网
  16. 即梦Seedream 5.5对垒MiniMax H3-Image:《持械入宋》复刻实测谁更强

    可修改一百次?像素级更改与锁定?秒出壁纸级好图?最近国产图片也开始拿出杀手锏,最典型的就是刚刚撞期发布的即梦 Seedream 5.5 和 MiniMax H3-Image,拿出了不输给GPT 2.5 Image的新图像模型。现在抖音上大火的《持械入宋》已经超过120亿播放,囿于此前的图像模型,整体并没有强调电影级大片

    来源 腾讯网
  17. TensorWave与OpenAI签六年协议:部署超450MW AMD算力

    AI云服务商TensorWave与OpenAI达成一项重大基础设施协议,进一步推动AMD在前沿AI算力市场的布局。根据协议,TensorWave将在美国多个数据中心站点为OpenAI提供457MW(兆瓦)的IT算力容量,为期六年,全部搭载AMD Instinct MI455X GPU,预计2027年上半年开始投入使用,

    来源 腾讯网
  18. 豆包工作与WorkBuddy开打:字节腾讯争夺办公Agent

    几天前,张一鸣和马化腾的最新内部讲话同时曝光。 张一鸣谈的是技术。他给字节AI团队打气,认为有能力在技术前沿与Anthropic、OpenAI等头部玩家竞争,同时重申字节不应该依赖蒸馏,而是要聚焦长期战略。 马化腾谈的是队伍。他的发言透露出更强烈的危机意识,敲打意味更强烈,希望“人和组织都要做大调整”,还提出“50%陆

    来源 AI 行业观察
向下滚动自动加载更多