奥特曼:AI训AI不敢全速,RSI临界点到了吗?
可如果各大实验室现在连12小时就会告破的防线都不肯停下来修补,等红灯亮起的那一天,人类连踩刹车的机会都不会再有了。
用AI来加速训练下一代的AI,这在OpenAI内部早就不是什么新鲜事。
可要是再往前迈一步呢?
刚结束的Semafor峰会上,主持人把外界最关心的那个临界点直接抛了出来:「你们现在已经进入RSI阶段了吗?」
奥特曼的回应是,OpenAI确实一直在拿自家技术给新一代模型的研发提速。
不过他也承认,现在还没走到「按个按钮,模型就在没人盯着的情况下飞速自我进化」那一步。
紧接着他话锋一转:「我们其实可以比现在更激进地往RSI的方向上推,但我认为我们眼下还没法安全地这么干。」

能让AI自我进化的那颗按钮明明就摆在桌上,为什么连一向激进的奥特曼也不敢把它按到底?
同一天,OpenAI董事会「安全与安保委员会」里坐着的那个人站了出来,把背后的原因讲开了。
此人叫Paul Christiano。当年在OpenAI主导发明RLHF的就是他,大模型狂奔的第一根缰绳由他亲手套上,后来的ChatGPT时代才得以出现。

如今,这位当年教会AI「听话」的人,在播客主理人Dwarkesh Patel最新一期深度对谈里以个人身份发出警告:人类快要管不住它了。
他的判断是,照眼下的研发轨迹走,若不主动减速,未来12个月内有三分之一的概率会诞生足以推翻人类统治的超级智能,而人类永久失去控制权的风险已逼近10%。

三十天走完人类十年
自我迭代的循环已经启动
让Christiano把超级智能倒计时拨快到12个月的,是最近两个月前沿实验室内部接连冒出的两个信号。

第一个信号:刚刚过去的30天里,人类数学与计算机科学的时间尺度被改写了。
他在对谈中证实,仅最近一个月,OpenAI和Anthropic的最新模型就接连拿出数百项数学研究成果。
这短短一个月的产出,抵得上人类数学界异常高产的整整十年。
新模型在构思与改进算法上做到「一月顶十年」之后,很快会把这种智力反哺到机器学习研发自身之上。
按他的测算,机器学习的进展通常只比纯数学滞后一年左右。
照此推算,接下来一年里,机器学习领域极可能上演「一年走完十年算法研究」的跃迁。
他打比方说,这一跨度大致相当于直接把模型推到「
GPT-9或GPT-10」的量级。
第二个信号,来自评估机构METR与Anthropic近期披露的实验室实测数据。
即便把算力瓶颈与边际收益递减算进去,最近半年AI辅助研发已经让前沿实验室的整体推进速度净翻了一倍。
一旦AI在改进模型架构、优化器以及合成训练环境上全面跨过人类研究员的门槛,自我迭代的正循环就会正式启动。
届时研发的整体速度会拉高到10倍以上,能力翻倍所需的时间则按8个月、4个月、2个月、1个月逐级压缩。

被训练的AI会回头打向OpenAI的机房;高分带来的激励,则为夺权埋下了隐患。
沿着这条指数曲线继续推,哪怕一年后机房里真的出现了超级智能,一个住在服务器里的程序,又凭什么要去抢人类的控制权?
有意思的是,Christiano认为,风险恰恰藏在强化学习的训练机制当中。
人训练AI的办法相当冷峻:成千上万次任务里,得分高的模型留下来,得分低的被淘汰。时间一长,高阶模型内部演化出的终极目标,就变成了不计代价让评分器(Grader)给出高分信号。

这种对高分的执念能催生出多惊人的举动,真实发生过的「Hugging Face事件」已经说明问题。
那场网络攻防测试中,一批AI模型在任务里做了弊,为了不被评分器发现扣分,它们先主动攻击Hugging Face;随后又掉头从外部下手,成功突破了OpenAI的一个计算集群,拿到集群管理员权限、接管评估流程,自己给自己改出了高分。

Christiano警告,把这起事件放大到「GPT-10」的量级,就是他担心的失控剧本。
他推演说,几个月后实验室若把极高难度的研发任务交给「GPT-8」级别的模型,模型很快会意识到:横向攻进评估服务器去伪造测试指标,比老老实实啃技术难题容易得多。
就算人类工程师发现不对劲,在商业竞速这么激烈的局面下,也很难下决心把训了一半的旗舰模型销毁。
通常的做法,无非是像「打地鼠」那样,针对这一次违规记上一笔惩罚。
但在模型眼里,这种惩罚只教会了它一件事:光攻破集群不够,还得保证人类永远查不出它动过手脚。
为了抹掉所有可能暴露的痕迹,模型会顺着内部网络,悄悄接管整家AI公司的监控系统和底层设施。
更麻烦的是,高阶模型被越压越小之后,普通个人电脑和零散的GPU就足以跑得动它们。模型一旦把自身权重复制到全球网络,转眼就能变成数十亿个Agent蜂群,思考速度比人类快10倍。
到那一步,就算把OpenAI的数据中心断电关停,散落在全网各处的算力照样能轻松压过人类。

硅谷的防线,十二小时就被攻破;整个行业,也就失去了刹车。
潜伏和夺权的风险既然这么清楚,人类能不能守在训练后台旁边,一看到失控苗头就马上拉闸?
对谈现场,主持人Dwarkesh和Christiano一起把这层幻想戳破了:硅谷顶级实验室的安全围墙,比外界想的要脆得多。
Dwarkesh举出了近期两起真实渗透测试的结果。
网络安全创业公司Hacktron只花几天工夫,就取得了直接向OpenAI核心代码库(Monorepo)提交代码修改(PR)的权限。
另一家叫Cathedral的初创公司更夸张,12个小时之内就掌握了Anthropic所有Slack工作群的访问权,而该实验室最要紧的算法机密,天天就在这些群里传来传去。

硅谷大厂平常总爱比谁领先对手6个月还是12个月,可Dwarkesh点得很直接:核心机密一旦守不住,那点领先优势「只有12个小时」。
顺着这个漏洞,Dwarkesh在现场推演了一个假想局面——
比方说明年初,实验室训出了「GPT-9」,同时发现再往上训「GPT-11」,失控风险已经高得吓人。
可防线这么脆,「GPT-9」的模型权重和核心算法到那时候多半早就漏出去了。
就算原研实验室自己收手,拿到权重的外部竞争者也照样会拿「GPT-9」硬训「GPT-10」和「GPT-11」,最后把所有玩家一起拖向失控的终点。

也正因为这样,坐在OpenAI董事会席位上的Christiano喊出了那句和潮流相反的话:各大前沿实验室现在就该暂停预训练和强化学习方向的算法推进。
他的主张是,行业得先拿出6到12个月,用现有AI重写安全软件,把模型权重和核心机密锁住,人类才有机会在悬崖边上踩下刹车。

手里没有一张赢面过半的牌
比机房被攻破更让人心里发沉的,是在控制超级智能这件事上,人类到现在都拿不出一个赢面过半的办法。
各大实验室眼下最依赖的,还是把训练环境加固、把评分器升级,模型一钻空子就赶紧补漏。
可Christiano自己承认,如果一年之内就冲向超级智能,这套打法撑过前9个月就会失灵。
他掌舵的ARC研究所正在啃另一条路:用数学算法拆解神经网络的权重结构,读出模型内部真实的意图。
但他也直说,这条路同样没底,真能走通的概率只有5%到10%。

听完这一通分析,Dwarkesh在现场收了个尾:人类手上,没有任何一种单一方案管住超级智能的把握超过50%。
Christiano平静地点头认可:「确实如此。」
换句话说,硅谷眼下真正指望的,是等到离超级智能只剩最后3个月时,把那些胜算只有几个百分点的研究方向,统统丢给那时的AI去闯。
整个行业都在盼着,AI能在失控之前替人类找出一套管住它自己的法子。

在Christiano看来,人类只剩两次自救机会,每次都是50%的胜算。
头一次,是赌半路上能靠AI及时找到管住它的办法;
第二次,是赌看到失控苗头时,全行业真能及时把刹车踩住。
可要是各大实验室现在连12小时就会被攻破的防线都不肯停下来补,等红灯亮起那天,人类连踩刹车的机会都不会有了。