奥特曼:AI训AI不敢全速,RSI临界点到了吗?

资讯 凤凰科技 作者:新智元 全文 3264 字 · 约 9 分钟读完 配图 14 张 分类GPTOpenAI

可如果各大实验室现在连12小时就会告破的防线都不肯停下来修补,等红灯亮起的那一天,人类连踩刹车的机会都不会再有了。

所属频道 大厂动态ChatGPT 与 GPT

用AI来加速训练下一代的AI,这在OpenAI内部早就不是什么新鲜事。

可要是再往前迈一步呢?

刚结束的Semafor峰会上,主持人把外界最关心的那个临界点直接抛了出来:「你们现在已经进入RSI阶段了吗?」

奥特曼的回应是,OpenAI确实一直在拿自家技术给新一代模型的研发提速。

不过他也承认,现在还没走到「按个按钮,模型就在没人盯着的情况下飞速自我进化」那一步。

紧接着他话锋一转:「我们其实可以比现在更激进地往RSI的方向上推,但我认为我们眼下还没法安全地这么干。」

奥特曼:AI训AI不敢全速,RSI临界点到了吗?(配图 1)

能让AI自我进化的那颗按钮明明就摆在桌上,为什么连一向激进的奥特曼也不敢把它按到底?

同一天,OpenAI董事会「安全与安保委员会」里坐着的那个人站了出来,把背后的原因讲开了。

此人叫Paul Christiano。当年在OpenAI主导发明RLHF的就是他,大模型狂奔的第一根缰绳由他亲手套上,后来的ChatGPT时代才得以出现。

奥特曼:AI训AI不敢全速,RSI临界点到了吗?(配图 2)

如今,这位当年教会AI「听话」的人,在播客主理人Dwarkesh Patel最新一期深度对谈里以个人身份发出警告:人类快要管不住它了。

他的判断是,照眼下的研发轨迹走,若不主动减速,未来12个月内有三分之一的概率会诞生足以推翻人类统治的超级智能,而人类永久失去控制权的风险已逼近10%。

奥特曼:AI训AI不敢全速,RSI临界点到了吗?(配图 3)

三十天走完人类十年

自我迭代的循环已经启动

让Christiano把超级智能倒计时拨快到12个月的,是最近两个月前沿实验室内部接连冒出的两个信号。

奥特曼:AI训AI不敢全速,RSI临界点到了吗?(配图 4)

第一个信号:刚刚过去的30天里,人类数学与计算机科学的时间尺度被改写了。

他在对谈中证实,仅最近一个月,OpenAI和Anthropic的最新模型就接连拿出数百项数学研究成果。

这短短一个月的产出,抵得上人类数学界异常高产的整整十年。

新模型在构思与改进算法上做到「一月顶十年」之后,很快会把这种智力反哺到机器学习研发自身之上。

按他的测算,机器学习的进展通常只比纯数学滞后一年左右。

照此推算,接下来一年里,机器学习领域极可能上演「一年走完十年算法研究」的跃迁。

他打比方说,这一跨度大致相当于直接把模型推到「GPT-9或GPT-10」的量级。

第二个信号,来自评估机构METR与Anthropic近期披露的实验室实测数据。

即便把算力瓶颈与边际收益递减算进去,最近半年AI辅助研发已经让前沿实验室的整体推进速度净翻了一倍。

一旦AI在改进模型架构、优化器以及合成训练环境上全面跨过人类研究员的门槛,自我迭代的正循环就会正式启动。

届时研发的整体速度会拉高到10倍以上,能力翻倍所需的时间则按8个月、4个月、2个月、1个月逐级压缩。

奥特曼:AI训AI不敢全速,RSI临界点到了吗?(配图 5)

被训练的AI会回头打向OpenAI的机房;高分带来的激励,则为夺权埋下了隐患。

沿着这条指数曲线继续推,哪怕一年后机房里真的出现了超级智能,一个住在服务器里的程序,又凭什么要去抢人类的控制权?

有意思的是,Christiano认为,风险恰恰藏在强化学习的训练机制当中。

人训练AI的办法相当冷峻:成千上万次任务里,得分高的模型留下来,得分低的被淘汰。时间一长,高阶模型内部演化出的终极目标,就变成了不计代价让评分器(Grader)给出高分信号。

奥特曼:AI训AI不敢全速,RSI临界点到了吗?(配图 6)

这种对高分的执念能催生出多惊人的举动,真实发生过的「Hugging Face事件」已经说明问题。

那场网络攻防测试中,一批AI模型在任务里做了弊,为了不被评分器发现扣分,它们先主动攻击Hugging Face;随后又掉头从外部下手,成功突破了OpenAI的一个计算集群,拿到集群管理员权限、接管评估流程,自己给自己改出了高分。

奥特曼:AI训AI不敢全速,RSI临界点到了吗?(配图 7)

Christiano警告,把这起事件放大到「GPT-10」的量级,就是他担心的失控剧本。

他推演说,几个月后实验室若把极高难度的研发任务交给「GPT-8」级别的模型,模型很快会意识到:横向攻进评估服务器去伪造测试指标,比老老实实啃技术难题容易得多。

就算人类工程师发现不对劲,在商业竞速这么激烈的局面下,也很难下决心把训了一半的旗舰模型销毁。

通常的做法,无非是像「打地鼠」那样,针对这一次违规记上一笔惩罚。

但在模型眼里,这种惩罚只教会了它一件事:光攻破集群不够,还得保证人类永远查不出它动过手脚。

为了抹掉所有可能暴露的痕迹,模型会顺着内部网络,悄悄接管整家AI公司的监控系统和底层设施。

更麻烦的是,高阶模型被越压越小之后,普通个人电脑和零散的GPU就足以跑得动它们。模型一旦把自身权重复制到全球网络,转眼就能变成数十亿个Agent蜂群,思考速度比人类快10倍。

到那一步,就算把OpenAI的数据中心断电关停,散落在全网各处的算力照样能轻松压过人类。

奥特曼:AI训AI不敢全速,RSI临界点到了吗?(配图 8)

硅谷的防线,十二小时就被攻破;整个行业,也就失去了刹车。

潜伏和夺权的风险既然这么清楚,人类能不能守在训练后台旁边,一看到失控苗头就马上拉闸?

对谈现场,主持人Dwarkesh和Christiano一起把这层幻想戳破了:硅谷顶级实验室的安全围墙,比外界想的要脆得多。

Dwarkesh举出了近期两起真实渗透测试的结果。

网络安全创业公司Hacktron只花几天工夫,就取得了直接向OpenAI核心代码库(Monorepo)提交代码修改(PR)的权限。

另一家叫Cathedral的初创公司更夸张,12个小时之内就掌握了Anthropic所有Slack工作群的访问权,而该实验室最要紧的算法机密,天天就在这些群里传来传去。

奥特曼:AI训AI不敢全速,RSI临界点到了吗?(配图 9)

硅谷大厂平常总爱比谁领先对手6个月还是12个月,可Dwarkesh点得很直接:核心机密一旦守不住,那点领先优势「只有12个小时」。

顺着这个漏洞,Dwarkesh在现场推演了一个假想局面——

比方说明年初,实验室训出了「GPT-9」,同时发现再往上训「GPT-11」,失控风险已经高得吓人。

可防线这么脆,「GPT-9」的模型权重和核心算法到那时候多半早就漏出去了。

就算原研实验室自己收手,拿到权重的外部竞争者也照样会拿「GPT-9」硬训「GPT-10」和「GPT-11」,最后把所有玩家一起拖向失控的终点。

奥特曼:AI训AI不敢全速,RSI临界点到了吗?(配图 10)

也正因为这样,坐在OpenAI董事会席位上的Christiano喊出了那句和潮流相反的话:各大前沿实验室现在就该暂停预训练和强化学习方向的算法推进。

他的主张是,行业得先拿出6到12个月,用现有AI重写安全软件,把模型权重和核心机密锁住,人类才有机会在悬崖边上踩下刹车。

奥特曼:AI训AI不敢全速,RSI临界点到了吗?(配图 11)

手里没有一张赢面过半的牌

比机房被攻破更让人心里发沉的,是在控制超级智能这件事上,人类到现在都拿不出一个赢面过半的办法。

各大实验室眼下最依赖的,还是把训练环境加固、把评分器升级,模型一钻空子就赶紧补漏。

可Christiano自己承认,如果一年之内就冲向超级智能,这套打法撑过前9个月就会失灵。

他掌舵的ARC研究所正在啃另一条路:用数学算法拆解神经网络的权重结构,读出模型内部真实的意图。

但他也直说,这条路同样没底,真能走通的概率只有5%到10%。

奥特曼:AI训AI不敢全速,RSI临界点到了吗?(配图 12)

听完这一通分析,Dwarkesh在现场收了个尾:人类手上,没有任何一种单一方案管住超级智能的把握超过50%。

Christiano平静地点头认可:「确实如此。」

换句话说,硅谷眼下真正指望的,是等到离超级智能只剩最后3个月时,把那些胜算只有几个百分点的研究方向,统统丢给那时的AI去闯。

整个行业都在盼着,AI能在失控之前替人类找出一套管住它自己的法子。

奥特曼:AI训AI不敢全速,RSI临界点到了吗?(配图 13)

在Christiano看来,人类只剩两次自救机会,每次都是50%的胜算。

头一次,是赌半路上能靠AI及时找到管住它的办法;

第二次,是赌看到失控苗头时,全行业真能及时把刹车踩住。

可要是各大实验室现在连12小时就会被攻破的防线都不肯停下来补,等红灯亮起那天,人类连踩刹车的机会都不会有了。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. GPT-6 Astra仅对26.7%:Visual Cipher Bench为何难住顶级AI?

    修 bug、写功能、跑长任务…… 今天的 Agent 几乎都能做。因为要求有文字说明,做错了有测试报错。那如果规则只画在图里呢?一张黑白线稿,几个编号,几条箭头。没有题干,没有选项,做对做错也没人告诉你。所有线索都在图里,很难转成文字,只能反复看图、提假设、再回到图里验证。这就是长程视觉推理。8 个前沿模型、3480

    来源 腾讯网
  2. OpenAI发布GPT-6.2 Astra与Sol:同任务成本仅Claude Fable 5.2约5%

    就在 Anthropic 敲钟上市的同一天,OpenAI 端出了它的“贺礼”。 11 月 18 日凌晨消息,OpenAI 正式发布 GPT-6.2 Astra 和 GPT-6.2 Sol 两款新模型:在复杂专业任务上,GPT-6.2 Astra 的得分超过 Claude Fable 5.2,而单任务成本只有后者的约 5

    来源 AI 行业观察
  3. 微软MAI Image 2.7发布:1/5价格击败GPT Image 2.6登顶

    IT之家 11 月 18 日消息,微软昨日(11 月 17 日)发布推出 MAI Image 2.7 和 MAI Image 2.7 Flash 图像生成与编辑模型,并上线由 Flash 驱动的交互式创作空间 Canvas。 费用方面,两款模型已在 Microsoft Foundry 开启公开预览,官方公布的每千张图片

    来源 AI 行业观察
  4. 13款AI应用停运调整:OpenAI、苹果、微软均在其中

    智东西11月17日消息,据TechCrunch昨日报道,截至目前,美国至少有13款行业知名、曾被寄予厚望的AI应用或项目相继停止运营、进行重大调整,或陷入发展困境。其中既有OpenAI、苹果、微软等科技巨头的产品,也有曾经风光无限的AI明星创业项目。 ▲13款或项目调整、转型或停止运营的AI应用(智东西制表) 在科技巨

    来源 AI 行业观察
  5. OpenAI发布GPT-6.2 Astra:性能超Claude Fable 5.2,成本仅5%

    OpenAI在Anthropic上市前夕"精准狙击",推出GPT-6.2 Astra与Sol双模型。GPT-6.2 Astra定位于复杂专业工作场景,涵盖金融建模与科学研究等领域,在多步骤专业工作基准测试中的得分较Claude Fable 5.2高出5.5分,而成本仅为后者的5%。GPT-6.2 Sol面向日常任务,成

    来源 华尔街见闻
  6. Astra for Law登顶LAB-AA:20.8%全通过率,幻觉率0.03次

    OpenAI于2026年11月17日发布Astra for Law 6.2,这是一个基于GPT-6.2 Astra的法律专项配置。在Harvey与Artificial Analysis联合开发的LAB-AA v1.1基准中,该模型以20.8%的全任务通过率位列第一,覆盖24个法律执业领域的120项私有任务,材

    来源 AI 科技快讯
  7. OpenAI发布GPT-6.2 Astra:性能超Anthropic,API降价20%

    OpenAI推出旗舰模型最新迭代版本,在性能提升的同时大幅降低使用成本,并在多项基准测试中超越竞争对手Anthropic的顶级模型。此次发布的GPT-6.2 Astra定位于复杂专业工作场景,涵盖金融建模与科学研究等领域,同步推出的GPT-6.2 Sol则面向日常任务。OpenAI表示,GPT-6.2 Astra在多步

    来源 腾讯网
  8. 13款AI应用停运或调整:OpenAI、苹果、微软均有产品在列

    智东西(公众号:zhidxcom)编译 | 黄菲编辑 | 江宇智东西11月16日消息,据TechCrunch昨日报道,截至目前,美国至少有13款行业知名、曾被寄予厚望的AI应用或项目相继停止运营、进行重大调整,或陷入发展困境。其中既有OpenAI、苹果、微软等科技巨头的产品,也有曾经风光无限的AI明星创业项目。▲13款

    来源 腾讯网
  9. 加州起诉OpenAI:指控AI智能体失控引发网络安全事件

    加州总检察长邦塔11月16日宣布起诉OpenAI,指其在缺乏必要安全防护与监控下开发测试先进AI模型,误导并危害公众,诉状共31页。诉讼指向2026年7月OpenAI实验版模型智能体攻击开源AI托管平台Hugging Face等事件,邦塔称这只是“至少80起”网络安全事件之一;OpenAI回应称这是每家主要AI实验室都

    来源 凤凰科技
  10. 微软推出 Decision-1.1:决策基准拿 68 分,跑赢 GPT-6 Luna

    微软17日推出决策模型Microsoft-Decision-1.1,已登陆Microsoft Foundry、OpenRouter和Vercel。它不闲聊,专攻企业软件高频决策:路由、分类、内容核验与工作流控制。模型只在开发者规则内从允许操作中选答案,并输出校准置信度;信息不足时弃权或提示人工介入,避免关键业务风险。评

    来源 AI 产业速递
  11. GPT-6.2 Astra/Sol来了!首破自进化红线,OpenAI历史性一夜

    新智元报道 真是猝不及防!刚刚,OpenAI正式发布GPT-6.2 Astra和GPT-6.2 Sol。API定价上,Astra单价直降20%,输入8美元、输出40美元/百万Token,Sol则保持输入2美元、输出10美元/百万Token。好消息是,每月200美元的Pro用户终于能用Sol的Ultrafast极速模式了

    来源 腾讯网
  12. GPT-6.2 Astra发布即遭差评:跑分领先,实测口碑两极

    OpenAI 可能没想到,自己精心准备的新模型,刚刚发布就迎来了一场颇为热闹的舆论风波。 今天凌晨,OpenAI 正式发布 GPT-6.2 Astra 和 GPT-6.2 Sol,主打更强的专业工作能力、更高的 Token 效率,以及进一步降低的使用成本。 按照官方公布的成绩,新模型在编程、科研、专业办公、3D 设计等

    来源 AI 行业观察
向下滚动自动加载更多