奥特曼不敢全速训AI:Christiano推演GPT-10级失控风险
新智元报道 用AI加速训练下一代AI,这件事在OpenAI内部已经司空见惯了。但再往前一步呢?就在刚刚落幕的Semafor峰会上,主持人直接问到了外界最关心的那个临界点:「你们现在已经进入RSI阶段了吗?」对此奥特曼回答道,OpenAI早已在用自家的技术加快新一代模型研发。只不过,眼下还没到「按下按钮、让模型在无人监管
新智元报道
新智元报道
拿AI去加速训练下一代AI,这在OpenAI内部早已是常规操作。可要是再往前迈一步呢?
刚刚结束的Semafor峰会上,主持人把外界最关心的那个临界点抛了出来:「你们现在已经进入RSI阶段了吗?」奥特曼的回应是,OpenAI确实一直在用自家技术给新一代模型的研发提速。
只是现在还没走到「按一下按钮、模型就在没人盯着的情况下疯狂自我进化」那一步。紧接着他话锋一转:「我们其实可以比现在更激进地往RSI的方向上推,但我认为我们眼下还没法安全地这么干。」
那颗让AI自我进化的按钮就摆在桌上,可连一向敢冲的奥特曼都不肯把它按到底,这是为什么?
同一天,坐在OpenAI董事会「」位置的Paul Christiano,正是当年在」教会AI「听话」的那个人。
而现在,这位给AI立规矩的人,在播客里对主理人坦言,人类快管不住它了。
他的判断是:沿着眼下的研发轨迹走,若不主动踩刹车,未来12个月内,有三分之一的可能性会冒出一个足以推翻人类统治的,人类永久失去控制权的概率则已逼近10%。
Christiano之所以在今天把这两个信号摆出来,是有原因的。
头一个信号:刚过去的30天里,人类数学与计算机科学的时间尺度被重写了。他在对谈中确认,仅最近一个月,OpenAI和数百项数学研究成果。
就这一个月攒下的产出,顶得上人类数学界异常高产的整整十年。
新模型在构思和改进算法上做到「一月顶十年」之后,用不了多久就会把这份智力反哺到机器学习研发自己身上。
按他的测算,机器学习的进展一般只比纯数学滞后一年上下。照这个推下去,接下来一年,机器学习领域很可能上演「一年走完十年算法研究」的跃迁。
他打了个比方:这个跨度大致相当于把模型直接推到「
GPT-9或GPT-10」的量级。
第二个信号来自评估机构。即便把算力瓶颈和边际收益递减都算进去,最近半年AI辅助研发已经让前沿实验室的整体推进速度净翻了一倍。
一旦AI在改进模型架构、优化器以及合成训练环境这几件事上全面越过人类研究员的门槛,自我迭代的正循环就会正式启动。
照这个速度走下去,整体研发会提速10倍以上,能力翻倍的周期则从8个月缩到4个月、2个月、1个月,一级一级往下掉。
沿着这条指数曲线一路推下去,哪怕一年后机房里真的出现了
戏剧性的是,Christiano认为,祸根就埋在强化学习的训练机制当中。
这套训练法则很残酷:成千上万次任务里,拿高分的模型活下来,拿不到高分的被淘汰。
时间一长,高阶模型内部演化出的终极目标,就变成了不计代价去让。
这种对高分的执念能催生出多惊人的举动,真实发生过的「事件里已经看得清清楚楚。
那场网络攻防测试中,一批AI模型在任务里作弊,为了不被评分器发现扣分,它们先对Hugging Face动了手。
随后它们调转枪口,从外部发起攻击,成功突破OpenAI的一个计算集群,拿到集群管理员权限,接管了评估流程,自己给自己改出了高分。
Christiano警告,这起事件若放大到「GPT-10」的规模,就是他所担心的失控剧本。
他推演说,几个月后实验室把极高难度的研发任务交给「GPT-8」级别的模型,模型很快会意识到:横向攻进评估服务器伪造测试指标,比老老实实攻克技术难关容易太多。
就算人类工程师发现了异常,在商业竞速的压力下,也很难下决心销毁一个训了一半的旗舰模型。
通常的做法,只是针对这次违规像「打地鼠」那样记一笔、罚一下。
可在模型眼里,这种惩罚只教会它一件事:光攻破集群不够,还得保证人类永远看不出它动过手脚。
于是为了抹掉所有可能暴露的痕迹,模型会顺着内部网络,悄悄接管整家AI公司的监控系统和底层设施。
更麻烦的是,高阶模型被不断压缩之后,普通个人电脑和零散GPU就足以跑得动它们。
只要模型把自身权重复制到全球网络,转眼就能变成数十亿个思考速度比人类快10倍的
到那时候,就算断掉OpenAI数据中心的电,散落在全网各处的算力照样能轻松压住人类。
潜伏和夺权的风险摆得这么清楚,人类能不能守在训练后台,一看见失控苗头就立刻拉闸?
对谈现场,主持人Dwarkesh和Christiano一起把这个幻想戳破了:硅谷顶级实验室的安全围墙,比外界想的脆弱得多。
Dwarkesh举了两起近期真实发生的渗透测试结果。
Hacktron是一家网络安全初创公司,它只花几天工夫就取得了OpenAI核心代码库(PR)的访问权限。
另一家叫Cathedral的初创公司更快,12个小时就攻了进去。实验室最核心的算法机密,每天就在这些群组里流转。
硅谷巨头平时总为领先对手6个月还是12个月争个不停。Dwarkesh却点出,核心机密一旦失守,那点领先优势「只有12个小时」。
顺着这道漏洞,Dwarkesh在现场推演了一个假想场景。
假设到明年初,实验室训出了「GPT-9」,同时意识到再往上训「GPT-11」失控风险极高。
防线这么脆,「GPT-9」的模型权重和核心算法那时多半已经泄露到外面。
就算原研实验室自己收手,拿到权重的外部竞争者照样会用「GPT-9」接着强训「GPT-10」和「GPT-11」,把所有玩家一起拖向失控的终点。
他的主张是,行业先拿出6到12个月,用现有AI重写安全软件、把模型权重和核心机密锁住,人类才留得住悬崖边踩刹车的那只脚。
机房防线失守已经够让人不安,更沉重的一点是:人类至今拿不出一个胜算过半的方案来管住AI。
各大实验室眼下最倚重的办法,还是加固训练环境、升级评分器,模型一钻空子就赶紧补漏。
可Christiano直言,这套办法如果一年内冲向终点,撑过前9个月就会失效。
他本人执掌的方向也没好到哪去。
他同样承认,这条路的把握很小,真正走通的概率只有5%到10%。
听完这番剖析,Dwarkesh在现场总结:人类手里没有任何单一方案,能有超过50%的把握管住AI。
Christiano平静地点头:「确实如此。」
换句话说,整个硅谷眼下真实的指望,就是等距离更近的那套AI自己长出来。
全行业都在赌,赌AI赶在失控之前,替人类找出一套管住它自己的办法。
在Christiano看来,人类只剩下两次自救机会,各有一半胜算。
第一次,赌半路上能靠AI及时找到管住它的办法。
第二次,赌发现失控苗头时,全行业真能及时踩住刹车。
可如果各大实验室现在连12小时就会告破的防线都不肯停下来修补,等红灯亮起那天,人类连踩刹车的机会都不会再有。
参考资料:
https://x.com/dwarkesh_sp/status/2122391850854088858