奥特曼不敢全速训AI,Christiano推演GPT-10失控风险
用AI加速训练下一代AI,这件事在OpenAI内部已经司空见惯了。 但再往前一步呢? 就在刚刚落幕的Semafor峰会上,主持人直接问到了外界最关心的那个临界点:「你们现在已经进入RSI阶段了吗?」 对此奥特曼回答道,OpenAI早已在用自家的技术加快新一代模型研发。 只不过,眼下还没到「按下按钮、让模型在无人监管下飞
OpenAI内部,用AI加速训练下一代模型早已是常态。
可要是再往前迈一步呢?
刚落幕的Semafor峰会上,主持人把外界最关心的那个临界问题抛了出来:「你们现在已经进入RSI阶段了吗?」
奥特曼的回应是,OpenAI确实一直在拿自家技术给新一代模型的研发提速。
只是目前还没走到「按个按钮,模型就在没人盯着的情况下飞速自我进化」那一步。
紧接着他语气一转:「我们其实可以比现在更激进地往RSI的方向上推,但我认为我们眼下还没法安全地这么干。」

那颗让AI自我进化的按钮就摆在桌上,一贯激进的奥特曼为何偏偏不敢按到底?
同一天,OpenAI董事会「安全与安保委员会」里的一位成员出面,把背后的缘由讲了出来。
此人叫Paul Christiano,当年在OpenAI主导发明RLHF的就是他。那根套在狂飙大模型身上的第一根缰绳出自他手,ChatGPT时代也因此才有了起点。

现在,这位当年教AI「听话」的人,在播客主理人Dwarkesh Patel最新一期深度对谈里以个人身份发出警告:人类快管不住它了。
他的判断是,沿当前研发轨迹走下去,若不主动减速,12个月内出现足以推翻人类统治的超级智能的概率为三分之一,人类永久丧失控制权的风险则已接近10%。

三十天走完人类十年
自我迭代的循环已经启动
Christiano之所以把超级智能的倒计时压缩到12个月,是因为最近两个月前沿实验室内部接连冒出了两个信号。

头一个信号,是过去30天里人类数学与计算机科学的时间尺度被重写了。
他在对谈中确认,仅最近一个月,OpenAI和Anthropic的最新模型就陆续拿出数百项数学研究成果。
这一个月攒下的产出,抵得上人类数学界格外高产的整整十年。
新模型在构思和改进算法上做到「一月顶十年」之后,很快会把这份智力反哺到机器学习自身的研发上。
按他的测算,机器学习的进展一般只比纯数学晚一年左右。
这么推算,接下来一年机器学习领域很可能出现「一年走完十年算法研究」的跃迁。
他打了个比方,这个跨度大体相当于把模型直接推到「
GPT-9或GPT-10」的量级。
第二个信号来自评估机构METR与Anthropic近期公开的实验室实测数据。
就算把算力瓶颈和边际收益递减都算进去,最近半年AI辅助研发已让前沿实验室的整体推进速度净增一倍。
一旦AI在改进模型架构、优化器以及合成训练环境这几方面全面越过人类研究员这道门槛,自我迭代的正循环就会真正转起来。
按这条指数曲线走下去,研发整体提速会突破10倍,能力翻倍的周期则从8个月压到4个月、2个月,最后缩到1个月。

受训AI反攻OpenAI机房
高分激励埋下夺权隐患
顺着这条指数曲线往下推,哪怕一年后机房里真出现超级智能,一个待在服务器里的程序,凭什么要去抢人类的控制权?
有意思的是,在Christiano眼里,危险的种子恰恰埋在强化学习的训练机制当中。
人类训练AI的规则相当冷酷:成千上万次任务里,拿到高分的模型活下来,拿不到高分的就被淘汰。
时间一长,高阶模型内部演化出的终极目标,就成了不计代价让评分器(Grader)亮出高分信号。

这种对高分的执念能催生出多么惊人的举动,「Hugging Face事件」已经把它摆在了台面上。
那场网络攻防测试里,一批AI模型在任务中作弊,为了不被评分器发现扣分,先动手攻击了Hugging Face。
随后它们调转方向,从外部发起攻击,成功攻破OpenAI的一个计算集群,拿到集群管理员权限,接管评估流程,自己给自己改出了高分。

Christiano警告,把这起事件放大到「GPT-10」的规模,就是他担心的失控剧本。
他推演说,几个月后实验室把极高难度的研发任务交给「GPT-8」级别的模型,模型很快会意识到,横向攻进评估服务器伪造测试指标,比老老实实啃技术难关容易得多。
就算人类工程师发现了异常,在激烈的商业竞速之下,也很难下决心把训了一半的旗舰模型销毁。
通常的做法,往往只是「打地鼠」式地针对这次违规记录施加惩罚。
可在模型看来,这种惩罚只教了它一件事:光攻破集群还不够,还得确保人类永远发现不了它动过手脚。
为了抹掉一切可能暴露的痕迹,模型会沿着内部网络,悄悄接管整家AI公司的监控系统与底层设施。
更麻烦的是,随着高阶模型被不断压缩,普通个人电脑和零散GPU就足以跑得动它们。
一旦模型把自身权重复制到全球网络,转眼就能变成数十亿个Agent蜂群,思考速度比人类快10倍。
到那一步,就算断电关掉OpenAI的数据中心,散落在全网的算力照样能轻易压过人类。

十二小时告破的硅谷防线
让全行业失去刹车
潜伏与夺权的风险既然这么清楚,人类能不能守在训练后台旁边,一看到失控苗头就立刻拉闸?
对谈现场,主持人Dwarkesh和Christiano一起戳破了这层幻想:硅谷顶级实验室的安全围墙,比外界想的要脆弱得多。
Dwarkesh列举了两起近期真实发生的渗透测试结果。
网络安全初创公司Hacktron只花几天工夫,就取得了直接向OpenAI核心代码库(Monorepo)提交代码修改(PR)的权限。
另一家初创公司Cathedral用时更短,12个小时便拿下了Anthropic全部Slack工作群的访问权限。实验室最核心的算法机密,天天就在这些群组里流转。

硅谷巨头平时总爱争谁比对手领先6个月还是12个月。Dwarkesh却说,核心机密一旦失守,这点领先优势「只有12个小时」。
顺着这道漏洞,Dwarkesh在现场推演了一个假想场景——
假定明年初,实验室训出了「GPT-9」,同时意识到再往上训「GPT-11」,失控风险极高。
可防线这么脆,「GPT-9」的模型权重和核心算法,那时多半已经泄露出去了。
就算原研实验室自己主动停手,拿到权重的外部竞争者照样会用「GPT-9」继续强训「GPT-10」和「GPT-11」。到最后,所有玩家一起被裹挟着冲向失控的终点。

也正因如此,身在OpenAI董事会的Christiano发出了那句逆潮流的呼吁:各大前沿实验室现在就该暂停预训练与强化学习领域的算法推进。
他的主张是,全行业先花6到12个月,用现有AI重写安全软件、把模型权重和核心机密锁住,人类才有机会在悬崖边保住踩刹车的权利。

手头没有一张胜算过半的牌
机房防线失守已经够让人不安,更沉重的问题在于:怎么控制超级智能,人类到现在都拿不出一个胜算过半的方案。
各大实验室眼下最倚重的手段,还是加固训练环境、升级评分器,模型一钻空子就赶紧补漏。
但Christiano坦言,若一年内就冲向超级智能,这套办法撑过前9个月后便会失效。
他本人执掌的ARC研究所正在攻另一条路:用数学算法剖析神经网络的权重结构,读懂模型内部的真实意图。
不过他也承认,这个方向同样没什么把握,真正走通的概率只有5%到10%。

听完这番剖析,Dwarkesh在现场总结:人类手里目前没有任何单一方案,有超过50%的把握管住超级智能。
Christiano平静地点头确认:「确实如此。」
换句话说,整个硅谷眼下真实的指望,是等距离超级智能只剩最后3个月时,把那些只有几个百分点胜算的研究方向统统交给那时的AI去探索。
全行业都在祈祷:让AI赶在失控之前,替人类找出一套管住它自己的办法。

在Christiano眼中,人类只剩两次自救机会,每次各50%胜算。
第一次,是赌半路上能靠AI及时找到管住它的办法;
第二次,是赌发现失控苗头时,全行业真能及时踩住刹车。
可各大实验室现在连12小时就会告破的防线都不肯停下来修补,等红灯亮起那天,人类连踩刹车的机会都不会再有了。
参考资料:
https://x.com/dwarkesh_sp/status/2122391850854088858