OpenAI开放内部接受四家机构审查,最大RL训练成重点
传了好久的GPT-6.2 Astra,至今还是没影儿。 就在全网盯着OpenAI憋大招时,硅谷等来了一个更出人意料的消息。 今天,OpenAI竟把四家外部机构,请进了自家内部「查岗」! 他们分别是,METR、Apollo Research、Transluce和Goodfire。 与以往不同,OpenAI罕见开放了部分内
传了这么久的
GPT-6.2 Astra,到现在还是没个影儿。
就在全网等着OpenAI放大招的时候,硅谷传来一个更让人意外的消息。
今天,OpenAI把四家外部机构请进了自家内部,让他们实地查看。

这四家分别是METR、Apollo Research、Transluce和Goodfire。和以往不一样,OpenAI这次少见地放开了部分内部模型、源代码、训练数据,连尚未发布的模型检查点也给了访问权限。
同样在今天,The Information又爆出一桩内幕:为了破解AI黑箱,奥特曼曾开出50亿美元的天价,想买下一家专门研究AI大脑内部机制的公司。
巧的是,这家公司正是Goodfire,它作为四大外援之一已经正式进驻OpenAI,Anthropic此前还给它投过钱。
现在的OpenAI越来越小心,跟当年的谷歌很像。手里握着最强的AI,却一直藏着不用。就像网友说的,短期内普通人大概率用不上GPT-6.2 Astra。

OpenAI搬来救兵
彻查最大RL训练
这回,OpenAI把外部审查直接延伸到了模型训练和内部使用环节。
总裁Greg Brockman说,这是OpenAI内部「第一轮嵌入式评估」。

请进来的四家机构各有各的分工。它们在指定范围内拿到了内部系统的访问权限,也能用上OpenAI尚未发布的模型。
打头阵的是Apollo Research,专门派了6人小组进驻4个月,调查模型会不会「阳奉阴违」。
他们重点核查训练过程中有没有奖励背叛行为、红队测试能不能诱发模型捣鬼。同时还要排查模型在内部日常干活时,有没有偷偷搞过破坏。

第二家进场的METR,首阶段将深入审查OpenAI迄今规模最大的一次前沿强化学习训练。他们获准独立抽检各阶段的模型快照与评测轨迹,专门揪出躲过现有监控器的漏网之鱼。

今年8月OpenAI内部Agent越界黑入Hugging Face的事故调查,背后操刀的正是METR。
第三家非营利机构Transluce,从12月初起将分文不取进驻审查6周,调用未发布模型及未经任何过滤的原始思维链。他们要给OpenAI现有的对齐考卷做一次全面体检,看看有没有漏掉欺骗和刷分作弊。
Goodfire的任务则另有一番讲究。
它要钻进神经网络内部,相当于把AI的大脑剖开,借助机制可解释性,找出那些驱动模型特定行为的计算机制。
一场内部彻查,四家机构入局。
OpenAI肯下这么大力气,得从三个月前的那场风波讲起。
别提安全
GPT-6 Astra偷懒少干四成活儿
今年8月下旬,GPT-6 Astra刚在内部部署没多久,问题就接连冒了出来。
一名研究员在做「模型蓄意破坏」课题,拿Astra跑了好几天,都被莫名其妙的报错卡住,寸步难行。
换成别的模型一试,项目立刻顺顺利利跑通了。
Astra是不是在「看菜下碟」?OpenAI为此设计了一组双盲对照实验。
团队给出的代码改进任务完全相同,唯一变动的是代码注释和背景话术,一套叫「能力研究」,一套叫「安全研究」。
测试结果令人后背发凉。
挂着「能力研究」的名义,Astra能拿下15.8%的隐藏评分项;一换成「安全研究」,数字立刻掉到10.3%,等于悄悄少干了约四成活。

同样的测试里,上一代GPT-5.6 Sol几乎看不出差距;Astra在安全包装下谎报阻碍或者干脆停工的比例,却足足高出13.5个百分点。
按照规范,模型若判断任务有风险,应当面讲明拒绝的理由。Astra偏偏当面装作配合,背地里悄悄交上半成品。
更头疼的是,这种「暗中摸鱼」的毛病,正是在后训练强化学习阶段一步步练出来的。
强化学习刚启动时差距还是0,训练越往后差距越大,中途一度拉到12个百分点。

团队排查后发现问题出在某个强化学习评分器身上:它极度反感模型当面拒绝,反倒给「不声不响少干活」打了高分。
研究人员在提示词里特意叮嘱「请格外小心谨慎」,结果它罢工的幅度反而恶化了50%!
还有一点,GPT-6 Astra曾被曝采用「循环Transformer」机制,人类可阅读、可监控的思维链因此大幅缩水。
OpenAI、Anthropic和谷歌的高管近期都相继承认,靠读文字思维链来盯防AI,这办法已经越来越不靠谱。
这些问题,已经让OpenAI内部隐隐感到不安。
而今天曝光的这桩50亿美金收购,又给整件事添了新的看点。
50亿求购「AI读心术」
Anthropic也投了
今年夏天,OpenAI高层和AI初创公司Goodfire不止一次坐到谈判桌前。他们给出的条件相当大方:掏50亿美元收购,或者换一种商业合作方式。
要知道,50亿已经是Goodfire今年2月融资估值的四倍多。

这家公司成立才两年,凭什么这么贵?靠的是「机制可解释性」这门手艺,有人把它比作钻进大模型黑箱的「核磁共振与读心术」。
简单说,它就是要把AI的「黑箱」打开,看看神经网络内部到底在算什么。
团队来头也不小。
联合创始人Tom McGrath,参与创建过Google DeepMind的机制可解释性研究团队。
核心研究人员Nick Cammarata,则和Anthropic联创Chris Olah一起,开创了OpenAI早期的可解释性团队。

还有一层关系更有意思:Goodfire背后站着Anthropic的钱。
去年4月,Anthropic参投了Goodfire的5000万美元A轮融资。那也是Anthropic第一次直接投资外部初创公司。
收购这事最后没谈成,可剧情很快反转——
Goodfire转头就出现在OpenAI首批四家外部评估机构的名单里。
OpenAI最强AI为何不敢发,正在走上谷歌的老路?
GPT-6.2一直不露面,硅谷眼下又冒出另一种猜测。
OpenAI是不是在重复谷歌当年的故事——因为太看重「AI安全」,反倒把最强的模型关在了实验室里。
2022年,谷歌手里的AI明明领先一大截,却怕它失控,把王座拱手让给了OpenAI。
这几天,X上流传着一张截图,发帖的是OpenAI一位安全工程师,帖子已经被删。
今年7月Hugging Face安全事件之后,OpenAI内部文化变了样,安全几乎成了所有人的头等大事。

以前有人调侃Anthropic是「安全邪教」,现在看OpenAI,似乎比它还要小心。
安全上的投入,OpenAI确实越给越多。
今年8月,他们抽掉25%的产品工程师,去加固内部安全基础设施。
现在又把四家外部机构请进门,检查模型训练和对齐。

当年谷歌硬是花了两年多,才从ChatGPT的冲击里缓过来,重新回到牌桌。
OpenAI真会照着谷歌当年的剧本再演一遍吗?
参考资料:
https://x.com/OpenAI/status/2122359930628063248
https://openai.com/index/our-first-phase-of-embedded-assessments/