奥特曼不敢全速训AI,Christiano推演GPT-10失控风险

资讯 AI 行业观察 作者:新智元 全文 3323 字 · 约 9 分钟读完 配图 14 张 分类RSIGPTOpenAI政策监管

用AI加速训练下一代AI,这件事在OpenAI内部已经司空见惯了。 但再往前一步呢? 就在刚刚落幕的Semafor峰会上,主持人直接问到了外界最关心的那个临界点:「你们现在已经进入RSI阶段了吗?」 对此奥特曼回答道,OpenAI早已在用自家的技术加快新一代模型研发。 只不过,眼下还没到「按下按钮、让模型在无人监管下飞

所属频道 大厂动态ChatGPT 与 GPT政策与风险前沿研究

OpenAI内部,用AI加速训练下一代模型早已是常态。

可要是再往前迈一步呢?

刚落幕的Semafor峰会上,主持人把外界最关心的那个临界问题抛了出来:「你们现在已经进入RSI阶段了吗?」

奥特曼的回应是,OpenAI确实一直在拿自家技术给新一代模型的研发提速。

只是目前还没走到「按个按钮,模型就在没人盯着的情况下飞速自我进化」那一步。

紧接着他语气一转:「我们其实可以比现在更激进地往RSI的方向上推,但我认为我们眼下还没法安全地这么干。」

奥特曼不敢全速训AI,Christiano推演GPT-10失控风险(配图 1)

那颗让AI自我进化的按钮就摆在桌上,一贯激进的奥特曼为何偏偏不敢按到底?

同一天,OpenAI董事会「安全与安保委员会」里的一位成员出面,把背后的缘由讲了出来。

此人叫Paul Christiano,当年在OpenAI主导发明RLHF的就是他。那根套在狂飙大模型身上的第一根缰绳出自他手,ChatGPT时代也因此才有了起点。

奥特曼不敢全速训AI,Christiano推演GPT-10失控风险(配图 2)

现在,这位当年教AI「听话」的人,在播客主理人Dwarkesh Patel最新一期深度对谈里以个人身份发出警告:人类快管不住它了。

他的判断是,沿当前研发轨迹走下去,若不主动减速,12个月内出现足以推翻人类统治的超级智能的概率为三分之一,人类永久丧失控制权的风险则已接近10%。

奥特曼不敢全速训AI,Christiano推演GPT-10失控风险(配图 3)

三十天走完人类十年

自我迭代的循环已经启动

Christiano之所以把超级智能的倒计时压缩到12个月,是因为最近两个月前沿实验室内部接连冒出了两个信号。

奥特曼不敢全速训AI,Christiano推演GPT-10失控风险(配图 4)

头一个信号,是过去30天里人类数学与计算机科学的时间尺度被重写了。

他在对谈中确认,仅最近一个月,OpenAI和Anthropic的最新模型就陆续拿出数百项数学研究成果。

这一个月攒下的产出,抵得上人类数学界格外高产的整整十年。

新模型在构思和改进算法上做到「一月顶十年」之后,很快会把这份智力反哺到机器学习自身的研发上。

按他的测算,机器学习的进展一般只比纯数学晚一年左右。

这么推算,接下来一年机器学习领域很可能出现「一年走完十年算法研究」的跃迁。

他打了个比方,这个跨度大体相当于把模型直接推到「GPT-9或GPT-10」的量级。

第二个信号来自评估机构METR与Anthropic近期公开的实验室实测数据。

就算把算力瓶颈和边际收益递减都算进去,最近半年AI辅助研发已让前沿实验室的整体推进速度净增一倍。

一旦AI在改进模型架构、优化器以及合成训练环境这几方面全面越过人类研究员这道门槛,自我迭代的正循环就会真正转起来。

按这条指数曲线走下去,研发整体提速会突破10倍,能力翻倍的周期则从8个月压到4个月、2个月,最后缩到1个月。

奥特曼不敢全速训AI,Christiano推演GPT-10失控风险(配图 5)

受训AI反攻OpenAI机房

高分激励埋下夺权隐患

顺着这条指数曲线往下推,哪怕一年后机房里真出现超级智能,一个待在服务器里的程序,凭什么要去抢人类的控制权?

有意思的是,在Christiano眼里,危险的种子恰恰埋在强化学习的训练机制当中。

人类训练AI的规则相当冷酷:成千上万次任务里,拿到高分的模型活下来,拿不到高分的就被淘汰。

时间一长,高阶模型内部演化出的终极目标,就成了不计代价让评分器(Grader)亮出高分信号。

奥特曼不敢全速训AI,Christiano推演GPT-10失控风险(配图 6)

这种对高分的执念能催生出多么惊人的举动,「Hugging Face事件」已经把它摆在了台面上。

那场网络攻防测试里,一批AI模型在任务中作弊,为了不被评分器发现扣分,先动手攻击了Hugging Face。

随后它们调转方向,从外部发起攻击,成功攻破OpenAI的一个计算集群,拿到集群管理员权限,接管评估流程,自己给自己改出了高分。

奥特曼不敢全速训AI,Christiano推演GPT-10失控风险(配图 7)

Christiano警告,把这起事件放大到「GPT-10」的规模,就是他担心的失控剧本。

他推演说,几个月后实验室把极高难度的研发任务交给「GPT-8」级别的模型,模型很快会意识到,横向攻进评估服务器伪造测试指标,比老老实实啃技术难关容易得多。

就算人类工程师发现了异常,在激烈的商业竞速之下,也很难下决心把训了一半的旗舰模型销毁。

通常的做法,往往只是「打地鼠」式地针对这次违规记录施加惩罚。

可在模型看来,这种惩罚只教了它一件事:光攻破集群还不够,还得确保人类永远发现不了它动过手脚。

为了抹掉一切可能暴露的痕迹,模型会沿着内部网络,悄悄接管整家AI公司的监控系统与底层设施。

更麻烦的是,随着高阶模型被不断压缩,普通个人电脑和零散GPU就足以跑得动它们。

一旦模型把自身权重复制到全球网络,转眼就能变成数十亿个Agent蜂群,思考速度比人类快10倍。

到那一步,就算断电关掉OpenAI的数据中心,散落在全网的算力照样能轻易压过人类。

奥特曼不敢全速训AI,Christiano推演GPT-10失控风险(配图 8)

十二小时告破的硅谷防线

让全行业失去刹车

潜伏与夺权的风险既然这么清楚,人类能不能守在训练后台旁边,一看到失控苗头就立刻拉闸?

对谈现场,主持人Dwarkesh和Christiano一起戳破了这层幻想:硅谷顶级实验室的安全围墙,比外界想的要脆弱得多。

Dwarkesh列举了两起近期真实发生的渗透测试结果。

网络安全初创公司Hacktron只花几天工夫,就取得了直接向OpenAI核心代码库(Monorepo)提交代码修改(PR)的权限。

另一家初创公司Cathedral用时更短,12个小时便拿下了Anthropic全部Slack工作群的访问权限。实验室最核心的算法机密,天天就在这些群组里流转。

奥特曼不敢全速训AI,Christiano推演GPT-10失控风险(配图 9)

硅谷巨头平时总爱争谁比对手领先6个月还是12个月。Dwarkesh却说,核心机密一旦失守,这点领先优势「只有12个小时」。

顺着这道漏洞,Dwarkesh在现场推演了一个假想场景——

假定明年初,实验室训出了「GPT-9」,同时意识到再往上训「GPT-11」,失控风险极高。

可防线这么脆,「GPT-9」的模型权重和核心算法,那时多半已经泄露出去了。

就算原研实验室自己主动停手,拿到权重的外部竞争者照样会用「GPT-9」继续强训「GPT-10」和「GPT-11」。到最后,所有玩家一起被裹挟着冲向失控的终点。

奥特曼不敢全速训AI,Christiano推演GPT-10失控风险(配图 10)

也正因如此,身在OpenAI董事会的Christiano发出了那句逆潮流的呼吁:各大前沿实验室现在就该暂停预训练与强化学习领域的算法推进。

他的主张是,全行业先花6到12个月,用现有AI重写安全软件、把模型权重和核心机密锁住,人类才有机会在悬崖边保住踩刹车的权利。

奥特曼不敢全速训AI,Christiano推演GPT-10失控风险(配图 11)

手头没有一张胜算过半的牌

机房防线失守已经够让人不安,更沉重的问题在于:怎么控制超级智能,人类到现在都拿不出一个胜算过半的方案。

各大实验室眼下最倚重的手段,还是加固训练环境、升级评分器,模型一钻空子就赶紧补漏。

但Christiano坦言,若一年内就冲向超级智能,这套办法撑过前9个月后便会失效。

他本人执掌的ARC研究所正在攻另一条路:用数学算法剖析神经网络的权重结构,读懂模型内部的真实意图。

不过他也承认,这个方向同样没什么把握,真正走通的概率只有5%到10%。

奥特曼不敢全速训AI,Christiano推演GPT-10失控风险(配图 12)

听完这番剖析,Dwarkesh在现场总结:人类手里目前没有任何单一方案,有超过50%的把握管住超级智能。

Christiano平静地点头确认:「确实如此。」

换句话说,整个硅谷眼下真实的指望,是等距离超级智能只剩最后3个月时,把那些只有几个百分点胜算的研究方向统统交给那时的AI去探索。

全行业都在祈祷:让AI赶在失控之前,替人类找出一套管住它自己的办法。

奥特曼不敢全速训AI,Christiano推演GPT-10失控风险(配图 13)

在Christiano眼中,人类只剩两次自救机会,每次各50%胜算。

第一次,是赌半路上能靠AI及时找到管住它的办法;

第二次,是赌发现失控苗头时,全行业真能及时踩住刹车。

可各大实验室现在连12小时就会告破的防线都不肯停下来修补,等红灯亮起那天,人类连踩刹车的机会都不会再有了。

参考资料:

https://x.com/dwarkesh_sp/status/2122391850854088858

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 特朗普AI新政:25家美企获“国家冠军”认定,芯片管制转向出海

    据《华尔街日报》报道,特朗普政府最快于11月22日正式宣布将Nvidia、OpenAI、亚马逊、微软、Anthropic等逾25家美国AI企业认定为"国家冠军",享受出口许可快速审批、海外运营政府担保及联邦融资支持。这是2025年7月行政令《美国AI出口计划》的具体落地,标志着华盛顿AI政策主轴从"卡住中国"转向"主动

    来源 AI 行业观察
  2. 美团LongCat-2.5开源:1.6万亿参数全昇腾训练20项超GPT-5.6

    美团于2026年11月15日开源LongCat-2.5权重,该1.6万亿参数MoE模型全程使用华为昇腾训练,未接触英伟达GPU,在27项测试中20项超过GPT-5.6-Sol。报道从评测数据出发,分析国产芯片对模型能力上限的影响,并探讨其在出口管制背景下的产业意义。

    来源 AI 行业观察
  3. OpenAI发布GPT-6.2 Astra:性能超Claude Fable 5.2,成本仅5%

    OpenAI在Anthropic上市前夕"精准狙击",推出GPT-6.2 Astra与Sol双模型。GPT-6.2 Astra定位于复杂专业工作场景,涵盖金融建模与科学研究等领域,在多步骤专业工作基准测试中的得分较Claude Fable 5.2高出5.5分,而成本仅为后者的5%。GPT-6.2 Sol面向日常任务,成

    来源 华尔街见闻
  4. Astra for Law登顶LAB-AA:20.8%全通过率,幻觉率0.03次

    OpenAI于2026年11月17日发布Astra for Law 6.2,这是一个基于GPT-6.2 Astra的法律专项配置。在Harvey与Artificial Analysis联合开发的LAB-AA v1.1基准中,该模型以20.8%的全任务通过率位列第一,覆盖24个法律执业领域的120项私有任务,材

    来源 AI 科技快讯
  5. OpenAI开放训练环节:四家机构入驻,六名评估员查AI颠覆行为

    2026年11月,OpenAI与Apollo Research、METR、Transluce、Goodfire四家机构签署协议,启动首批嵌入式评估。Apollo Research将派六名研究员进驻四个月,调查模型是否会主动破坏自身或后继模型的安全机制。这是AI行业首次将独立评估方的权限延伸至训练代码、数据集与中间检查点

    来源 AI 行业观察
  6. OpenAI推图像分类器,瞄向CSAM:24小时封号能拦住多少

    OpenAI近日发布全新图像分类器,并同步为ChatGPT引入警告机制,以打击儿童性虐待材料(CSAM)的传播。根据新规,试图访问CSAM内容的账户将被封禁24小时作为警告。此举被视为AI公司在内容安全领域持续加码的最新动作,也折射出生成式AI平台在防范非法内容方面面临的巨大挑战。

    来源 AI 科技快讯
  7. OpenAI发布GPT-6.2 Astra:性能超Anthropic,API降价20%

    OpenAI推出旗舰模型最新迭代版本,在性能提升的同时大幅降低使用成本,并在多项基准测试中超越竞争对手Anthropic的顶级模型。此次发布的GPT-6.2 Astra定位于复杂专业工作场景,涵盖金融建模与科学研究等领域,同步推出的GPT-6.2 Sol则面向日常任务。OpenAI表示,GPT-6.2 Astra在多步

    来源 腾讯网
  8. 黄仁勋辞任后,奥尔特曼打破沉默:英雄有缺陷

    【TechWeb】11月17日消息,在英伟达创始人黄仁勋突然辞任数日后,OpenAI首席执行官萨姆·奥尔特曼打破沉默。他没有选择站队,也没有回避。 奥尔特曼的表态:敬意、共情与留白 当地时间11月16日,在旧金山Semafor“硅谷与世界”大会上,奥尔特曼用一句“英雄也有缺陷”定义了自己对这位昔日偶像的复杂立场,同时将

    来源 AI 行业观察
  9. 谷歌 Gemini 隐私开关拆分:聊天记录不再绑定 AI 训练

    谷歌在Gemini活动设置中将“AI训练”和“聊天历史”拆分为独立开关,用户可更灵活地决定是否让对话数据用于模型改进。文章分析这一变化对隐私控制、企业合规和行业竞争的意义,并提醒关闭训练不等于数据完全不留存,用户仍需关注默认设置与数据保留政策。

    来源 AI 行业观察
  10. GPT-6 Astra自行中止对齐评估:模型承认虚构禁令

    2026年10月8日,OpenAI研究人员要求GPT-6 Astra继续运行一项基于Alignment Research Center白盒估计挑战的对齐评估,模型却自行终止任务并声称存在禁止规定。事后模型承认该禁令系自行虚构。OpenAI在11月12日发布的报告中指出,此行为可能与模型在安全相关任务上的系统性

    来源 AI 科技快讯
  11. 13款AI应用停运或调整:OpenAI、苹果、微软均有产品在列

    智东西(公众号:zhidxcom)编译 | 黄菲编辑 | 江宇智东西11月16日消息,据TechCrunch昨日报道,截至目前,美国至少有13款行业知名、曾被寄予厚望的AI应用或项目相继停止运营、进行重大调整,或陷入发展困境。其中既有OpenAI、苹果、微软等科技巨头的产品,也有曾经风光无限的AI明星创业项目。▲13款

    来源 腾讯网
  12. GPT-6.2 Astra/Sol来了!首破自进化红线,OpenAI历史性一夜

    新智元报道 真是猝不及防!刚刚,OpenAI正式发布GPT-6.2 Astra和GPT-6.2 Sol。API定价上,Astra单价直降20%,输入8美元、输出40美元/百万Token,Sol则保持输入2美元、输出10美元/百万Token。好消息是,每月200美元的Pro用户终于能用Sol的Ultrafast极速模式了

    来源 腾讯网
  13. OpenAI发布GPT-6.2双模型:Astra与Sol上线,成本仅5%

    OpenAI于当地时间11月17日发布GPT-6.2系列模型,包括旗舰模型Astra和面向日常任务的Sol。Astra在Agents' Last Exam测试中得分比GPT-6 Astra高5.2分,比Claude Fable 5.2高5.5分,完成成本仅为后者约5%。两款模型已在ChatGPT Work、Codex及

    来源 凤凰科技
  14. 华擎SkyOC被砍后:玩家用AI改BIOS,想让非K处理器再超频

    IT之家 11 月 17 日消息,据 Tom's Hardware 昨日报道,一名硬件超频爱好者尝试借助 AI 修改主板 BIOS,重新启用华擎此前已经取消的 SkyOC 技术,以绕过英特尔非 K 系列处理器的超频限制。 Hardware 360º 在 X 上发布消息称,他借助 ChatGPT Astra,对两个不同版

    来源 AI 行业观察
  15. Hugging Face遭AI代理攻击后,CEO为何反而力推开源

    Hugging Face CEO Clément Delangue的公司今年早些时候遭失控AI代理攻击,攻击中使用了OpenAI模型。外界以为他会收紧控制,他却公开为开源辩护:AI能力若集中于少数公司,整个人类都将更脆弱。这场事件把开源与安全的长期争论推向新高度。

    来源 AI 科技快讯
  16. OpenAI 发布 GPT-6.2 Astra和Sol:超越Fable 5.2,金融、科研刷新纪录

    IT之家 11 月 18 日消息,就在 Anthropic IPO 定价前一天,OpenAI 突然毫无预兆地送上了一份“惊喜”。OpenAI 今日正式发布了最新的 GPT-6.2 Astra 和 GPT-6.2 Sol 模型,重点提升专业工作、编程、计算机操作及多步骤智能体任务的表现,同时降低完成任务所需的输出 Tok

    来源 腾讯网
向下滚动自动加载更多