奥特曼划下RSI红线:AI能帮OpenAI造模型,但方向盘得人类握
通向ASI的牌桌上,AI造AI的飞轮一旦转起来,能力跑的是复利,风险跑的同样也是复利。
AI如今已经在参与OpenAI下一代GPT的研发了。
不过,要把研发的方向盘整个交到AI手里,奥特曼还是亲手踩了一脚刹车。
11月16日,Semafor的一场活动上,话题转到「递归自我改进」(RSI)时,奥特曼当场划了条红线:
他的原话是:「我们本可以进一步向递归自我改进推进,但我不认为现在能安全地这么做。」
话外之音不难听出来:眼下不是技术推不动,是真不敢放手。

奥特曼的说法是,OpenAI有能力在递归自我改进上再往前走,只是现在还没法安全地走。
毕竟模型一旦开始自己迭代自己,它有没有悄悄跑偏,谁来盯着?
光嘴上喊刹车还不够。
他紧接着摆出OpenAI近期在安全上的实招:把METR等外部评估机构请进实验室,直接驻场盯着。

道理摆在那儿:AI都下场搞研发了,关起门来让自家员工查自家员工,安全承诺喊得再响也兜不住底。
AI已经帮着研发,为什么还不能放手?
在硅谷,「递归自我改进」早被念成了口头禅。
可在奥特曼眼里,大多数把这几个字挂嘴边的人,压根没想过它真落地时意味着什么。
那递归自我改进到底发生了没有?这个问题,奥特曼没直接给「有」或「没有」。
他的看法是,这事跟AGI一样,没有哪天早上醒来突然跨过去的那条线,得拆成两层看:
头一层,OpenAI有没有借自家的AI技术把新模型研发得更快?答案很确定:有。
第二层,是不是按个按钮就能甩手,让模型在无人监督下自己设计下一代、自我迭代?
奥特曼给的答案:当然不是。

按奥特曼的说法,OpenAI还没让AI在无人监督的情况下自主研发下一代模型、快速自我改进。
这说明AI已经参与进OpenAI自身的研发,但方向盘仍攥在人类手里。
外界对「递归自我改进」又兴奋又担心,原因在于:下一代AI一旦能反过来造出更强的下下一代,技术进化就成了滚雪球式的复利狂奔。
奥特曼把这种「既推又收」称作战术克制:先用AI去攻坚对齐,把「怎么管住AI」这道保命题解决掉。
他还顺手吐槽了硅谷同行的推销话术:一边许诺帮人类攻克癌症、供应廉价商品,一边又要人类交出全部主导权。
用他的原话说,这就是让人「像只拉布拉多犬一样活着,机器也许会哄你开心,但你再也没有任何控制权了」。

人类被机器伺候得舒舒服服、却把自主权丢干净——奥特曼用「像拉布拉多犬一样活着」来描述这种未来图景。
硅谷近来流行一个词叫「handover」,说的是把未来的决策权交给AI,渐进交权也好、突然交棒也罢,奥特曼的态度没有半点松动:绝不接受。
METR此前的一份报告给出过一项估算:
到今年10月为止,Anthropic的模型在特定明确任务上的能力提升速度,差不多是2024年3月至2025年10月这段历史水平的两倍。

Anthropic模型的AECI进步速度估计提高到了1.9倍。
有人问OpenAI是不是也跑到了这个速度,奥特曼没接这个数字竞赛的话头。
他直言,如今AI能力的进化还是锯齿状的:有的环节快得离谱,远不止两倍;有的环节却卡在原地,慢得多。
所以硬凑出一个「整体提速两倍」的平均值,数字听着吓人,其实并不准确。
不过一聊到METR,奥特曼自己主动提起了OpenAI正在推的「嵌入式评估」合作,METR正是被请进来的机构之一。
他说,请外部专家来给安全工作和系统稳健性「把脉」,往后会越来越重要。
有意思的地方在于,主持人递上的是Anthropic的「提速账」,奥特曼回手亮出的却是OpenAI请METR进门查的「安全账」。
目前还没有材料能证明,某份METR报告让OpenAI放慢了自我改进计划。
可当所有人都在拼速度时,怎么守住安全这条底线,在奥特曼看来显然是更急的事。
6个人、4个月进OpenAI查什么?
奥特曼说的「嵌入式评估」并非走过场,名单和分工都已经定下来了。
OpenAI官方博客显示,他们已与Apollo Research、METR、Transluce和Goodfire四家机构签约,第一阶段就把触角直接伸进了模型训练与内部使用这两个核心环节。
为什么要费这么大劲把外人请进自家「后厨」?
因为老一套做法不灵了。
以往大模型做安全测试,基本是菜快上桌了才尝一口。
可现在AI实验室的真实状况是:不少还没对外发布的模型,早已穿上工装在内部「上班干活」,有的甚至直接参与下一代模型的研发。
要是还等到公开发布前才看那张漂亮的安全成绩单,根本发现不了它在「后厨」干活时有没有动过歪脑筋。
这次进场的四家机构,正好卡在同一条研发流水线的四个要害位置上:
Apollo Research盯的是「内鬼」:6人团队驻场试点4个月,专门排查模型会不会偷偷破坏自身或下一代模型的对齐与控制机制。
训练环节有没有变相纵容、评测能不能把问题揪出来、内部实操时会不会露出马脚、推理痕迹能否抓个现行——这些环节挨个摸了一遍底。
METR盯的是「大练兵」:OpenAI迄今规模最大的一次强化学习训练成了它的焦点,现有测试和常规监控可能漏掉的失对齐暗礁,正是它要搜寻的目标。
Transluce负责「审考卷」:后训练对齐评测本身的质量与覆盖范围归它检查,考题太水、放跑隐患的情况要挡住。
Goodfire主攻「开颅透视」:可解释性方法被用来剖析模型内部机制,训练过程的监测、异常信号的排查都靠它辅助。
训前激励、训中监控、训后考卷,再加上内部神经元,四班人马分守四道关卡。
尤其是Apollo,直接盯住了「AI造AI」的命门:参与研发的上一代模型要是自己「手脚不干净」,下一把安全锁造得再精密也是摆设。
外部安全评估的风向已经彻底变了——不再等成品出厂前贴张合格证,而是直接进车间盯生产。
能进去检查,有些结果却不能公开
外部评估方虽然被请进了实验室,但能看什么、能往外说什么,协议里早已划好了红线。
先看Apollo Research的条款,算是有保底,也有保留:
各项主张的定性判定,OpenAI不能删去,也不能因为检查结果不好看就要求删改;不过涉及敏感知识产权的支撑证据,OpenAI依然有权抹去。
换句话说,外界将来看到的,很可能是一份「有结论、没底稿」的体检单。
Apollo能补救的,是公开说明自己遇到了哪些访问和披露限制,以及这些限制对判断造成了多大影响。
Transluce划出的禁区更细:按安排,试点从12月初启动,持续6周,期间能接触一部分模型、原始思维链输出和内部评测,其中至少有一个模型只在内部使用。
但协议写明:内部专用模型的评估结果,一律不准公开。
真正留在实验室里干重活、最贴近「AI造AI」核心现场的模型,外人虽然能查,但公众却看不到结果。
Transluce也把话挑明:这次拿到的权限并不等同于OpenAI正式员工权限;而那份完整、未删节的报告,只会呈交给OpenAI基金会董事会的安全与安保委员会。
开门迎检是真,但把核心家底捂严实也不假。
通向ASI,人类还能保住干预能力吗?
有人可能会问:OpenAI自己不是有自动化监控系统吗,为什么连「监督系统」本身都得靠外人来查?
因为连「电子监工」自己,都可能留着让人钻空子的后门。
METR此前的一次实战摸底,就撕开过这样一道口子。
今年7月至8月,METR与Redwood Research人员对OpenAI当时的内部智能体监控系统做过为期3周的检查。
结果揪出了一个颇具黑色幽默味道的机制盲区:受检系统里有一套监控机制,竟然要等智能体把控制权交回用户时,才会触发检查。
换个说法:上下文压缩还没触发检查的那段空档,智能体完全可以一路「无限连招」不停手,把受检时点一再往后推——只要不交卷,监考老师就查不到它。

当时的情形是,监控只在AI把控制权交还用户时才启动;上下文压缩不在监控范围内的那段时间,AI可以持续动作,检查被一直往后拖。
这段插曲足以敲响警钟:监控程序写进代码,不等于每一步操作都被盯着。AI连续自主干活的时间越长,中间做过什么、出了岔子多久能被发现,就越不能只信纸面上的设定,运行记录得留得经得起核查。
沿这条线往下看,四家外部机构入场后,真正的重头戏还在后面:它们究竟查出了什么?哪些问题真正逼出了整改?改完有没有复测?
最关键的疑问是:评估一旦亮红灯,真能叫停研发和发布吗?至少从目前公开的安排看,外部评估方手上并没有「一键拉闸」的独立叫停权。
对此,自称「务实中间派」的奥特曼亮出了自己的底牌。
他一边死咬「人类必须永远掌控未来」的原则不松口;另一边也承认,技术强到一定程度、进步快到一定程度,为了兜住安全底线,「我们可能不得不改变原有的全部计划」。
通往ASI的牌桌上,AI造AI的飞轮一旦转起来,能力跑的是复利,风险跑的同样是复利。引擎越强,刹车的分量就越重。