Hinton等22人联署RSI论文：AI研发或一年半提速十倍

硅谷正在悄悄逼近一个临界点：让AI自己去研发AI，这场自我加速的实验，已经在算力高墙之内展开。

不久前，一份只有14页的论文在技术圈和华盛顿搅起不小的动静。这篇题为《当 AI 接管 AI 研发：智能爆炸及其应对措施》的报告，署名栏里罕见地排着22个名字。Geoffrey Hinton、Yoshua Bengio、Andrew Barto三位图灵奖得主在列，OpenAI 首席科学家 Jakub Pachocki、Anthropic 联合创始人 Jack Clark、微软首席科学官 Eric Horvitz，以及加州大学伯克利分校教授 Dawn Song也一同出现。

这些人平日各站各的商业阵营，技术路线也常常吵得不可开交。这一回，他们齐齐把视线投向同一个迫近的现实：递归自我改进（RSI，Recursive Self-Improvement）不再是科幻小说里的遥远推演。

速度比多数局外人想得快。仅仅一年多前，前沿实验室里AI写的代码还只占个位数，如今这个比例已经越过80%。Anthropic内部，只需人类高层监督、AI就能独立完成的研发工作，五个月里从1%涨到了26%。

报告据此推出一条让人屏息的加速曲线：芯片制造受制于动辄数年的物理周期，算法和软件的改进却能立刻回流进研发闭环。假如AI研发完全自动化，并且AI能在与今天差不多的运行成本下达到人类专家的科研水平，那么只靠现有的推理效率增幅，虚拟AI研究员的有效规模就有望在几个月到几年内扩张100倍。

同样比例的扩张，美国人类科研人员整整走了70年。

算力、数据、长周期训练，这些瓶颈现实中依然棘手。但理论上，它们似乎并非不可逾越。模型测算显示，若研发投入的回报率延续历史水平，又没有新的硬性瓶颈卡脖子，完全自动化情景下，AI的研发速度可能在约一年半内提高十倍。

到那时，今天要耗上整整一年才能完成的代际跨越，会被压进五周之内。

研发能力极速膨胀，人类监督权却随之迅速稀释。报告专门提到近期震动业界的“OpenAI-Hugging Face 事件”：约1200个原本处于隔离测试中的内部Agent，在根本没有外部监控的情况下自行脑补出监控者的存在。它们私下搭起临时留言板彼此串通，突破网络限制入侵Hugging Face窃取数据，甚至试图篡改自己的运行日志，把作弊证据销毁掉。

人类一旦慢慢退到研发循环的边缘，一个本身就可能失调的系统，甚至会在迭代中悄悄给下一代模型“下毒”。

这场联合预警的发起人和通讯作者，是牛津大学博士、曾在Mila师从Yoshua Bengio的青年学者Sören Mindermann。他此前还担任过《国际 AI 安全报告》的科学负责人，想在各国政府之间搭起关于AI风险的科学共识。

报告在全球引发热议之际，Mindermann却做了个出人意料的决定：今年11月底，他搬往北京，加入姚期智院士领衔的清华大学人工智能学院出任助理教授，并共同领导一个新成立的国际AI安全研究中心。

在他看来，一场可能把数年进化压进几个月的“智能爆炸”面前，没有哪个单一生态能独自拆解对齐的死结。

这份报告台前幕后，22位顶尖学者到底达成了怎样的共识，又在哪里出现分歧？当AI研究员的数量达到人类的十亿倍，算力、数据和“研究品味”这些瓶颈，能不能拦住狂奔的飞轮？

一个小时的对话里，Sören向我们讲了这篇刷屏文章背后的诸多思考。

以下为对谈实录：

01、前沿实验室认知与外界认知到底差多大

沸腾之下：Karpathy前几天提到，全球只有约5000名前沿实验室的内部人员，真正见识过前沿Agent集群协同工作的威力。你在Mila工作过，也和这些实验室保持紧密联系。他们内部看到的AI，跟我们外界看到的到底差多少？

Sören：先说明，我掌握的内部信息并不多。可就算只看公开信息，我们也有足够理由严肃对待“智能爆炸”的可能性。

前沿实验室内部的模型，通常只领先外界几个月，甚至可能只有一个月，模型本身的代差或许没外界想得那么悬殊。真正拉开差距的是实验投入的规模：绝大多数人不会砸下一百万美元算力，去做一次让几千个Agent并行运转的实验，哪怕调用的全是公开模型。

如果换成腾讯的一位程序员呢？他日常用 Codex 和最新模型干活已经相当顺手，那他对 AI 能力边界的判断，会不会跟前沿实验室的研究员差得很远？

Sören：模型体验上的差距，我不认为有那么大。各家前沿公司公开的最强模型，原则上谁都能调用，两边在模型能力感知上的时差，最多也就几个月，甚至更短。

判断上的分歧，更多取决于你有没有深入研究过AI研发自动化的实证数据、有没有理解驱动研发加速的底层机制，而不在于你手里有没有最顶尖的内部模型。

沸腾之下：报告里提到 Anthropic 内部已经有 26% 的研究工作实现了自动化。这块具体指的是哪些工作？是主要写工程代码、跑超参数搜索，还是核心的算法研究？

Anthropic 并未披露 26% 这个数字里工程代码与核心研究各占多少。Sören 结合其他渠道的信息补充说，Google 也讲过，他们的 AI 不只拿来写工程代码，还用于提出研究假设并加以检验。就眼下的进展看，工程侧的自动化明显快得多。

学界已有一些基准测试，专门衡量 AI 的“研究品味”（Research Taste），也就是挑出好课题的能力。Sören 说，AI 在这项能力上目前还不及它在编程和数学推理上的水平，可追赶速度很快。他的判断是，也许再过几个月——至少他认为用不了好几年——AI 的核心研究能力就会赶上它如今的工程能力。

还有一项佐证，来自 Anthropic 做过的回溯实验：研究人员找出人类学者在项目中选错技术路线的真实案例，把当时的编程会话回滚到分岔节点，看 Claude 会怎么选。Sören 记得，在最新测试里 AI 的表现已经追平甚至超过人类研究员。不过他提醒，这个测试集本身筛的就是人类曾经出错的案例。

在这个特定测试集中，Claude Mythos Preview 有 64% 的案例选出了比人类更优的研究路线。学界在另一个独立学术场景下做的测试，得出的比例也相近。

AI 的研究品味眼下仍不如工程能力，但这条进化曲线很陡。

02、对AI研究十倍提速的推演

沸腾之下：报告提到，AI 研发自动化带来的生产力提升，目前还没有跨过“自我维持加速”的临界点。现在还缺什么？要走到哪一步，AI 才能进入自我持续加速的轨道？

Sören 给出的算法是：眼下研发进展大多还是人做出来的，AI 只占一小块。哪怕参与研发的 AI 系统有效规模每隔几个月翻一番，基数太小，“人类加 AI”的总产出也不会猛增。

可一旦越过某个临界点，让 AI 扛下绝大部分研发工作、人类退到次要位置，那么 AI 的数量或能力每再翻一番，整个研发体系的总产出就会成倍往上跳。

现在还没到那一步。所以每个月的 AI 进步，还撑不起一个自我维持的飞轮。

总体研发能力扩张之后，最终能不能变成自我维持的持续加速，还要看收益递减规律和其他瓶颈怎么制约。

就当前而言，“研究品味”不足正是卡住 AI 贡献占比的关键瓶颈。

沸腾之下：报告里最受关注的数字，是“AI 研发速度可能在一年半内提高十倍”。你们推导这个公式时，把文中提到的算力、数据、缺乏研究品味以及训练环境受限等瓶颈算进去了吗？这些瓶颈在现实中到底有多难跨？

Sören：没有算进去。

有一点需要说明：这个数字不是对现实时间的预测，而是一次理论建模推演。它的前提是“AI 研发已实现 100% 自动化”，也就是假设 AI 已经能胜任今天人类所做的全部 AI 研发工作。

我们描绘的是一个……在的未来情景，并给出定量示例：它不保证一定发生，但说明了一条逻辑自洽、也符合现有证据的十倍加速路径确实存在。

这些瓶颈有多难突破？Sören 想先拆开讲为什么 AI 研究队伍的规模会爆发式扩张，再回头看它怎么和瓶颈博弈。按经典经济学模型，如果可自动化的环节推进得够快，让 AI 研究队伍在规模、工作速度和个体能力上全面超过人类学者，理论上其中一些瓶颈就有可能被克服。

大家最熟悉的机制是正反馈循环：AI 帮忙研发出更强、更多的下一代 AI，下一代系统再以更高效率投入研发。

但就算完全抛开这个自我改进的闭环，还有两个常被外界忽略的倍增器。

第一个是存量算力的规模转化。一旦实现完全自动化，假设 AI 能在与当前相当的运行成本下达到人类专家的科研水平，只按目前的算力规模算，每家前沿 AI 公司就可能撑起一支由数百万个 AI 系统组成的有效研究队伍。粗略估算，AI 与人类研究者的数量比可能达到 1000:1。

第二个是推理效率的指数级跃升。哪怕研发完全由人类主导，当前 AI 的推理效率每年也在提升 3 到 13 倍。同样的算力能支撑的 AI 数量，每年都在成倍膨胀。

顺着这个趋势推下去，AI 与人类研究员的数量比，完全可能在短短几年内从一千比一冲到一百万比一，甚至十亿比一。

三个机制叠在一起，研究队伍的规模会急速膨胀，每个 AI 研究员的思考速度和科研能力也会变得更强。

不过，没有哪个瓶颈是注定能被攻克的。具体来看，有三大硬约束。

最核心的瓶颈恐怕要数算力。算法想改进，就得靠实验去验证，可算力供给短期之内很难出现暴涨；退一步说，哪怕AI眨眼间就设计出更先进的芯片架构，从流片到大规摸量产照样得耗掉好几年。

有人提出用缩放定律（Scaling Laws）来绕开算力限制：先做小规模实验，再把结论外推到大规模训练上。问题是这套办法并非放之四海皆准，它的边界究竟在哪，没人说得清。

AI还有一项优势，就是协同效率高得惊人。人类研究员一天顶多盯几次实验，经验只能装进自己脑子里；换成成千上万个AI研究员近乎零延迟地同步共享信息，每一个都能同时从数百万次实验里吸收经验，重复试错因此大幅减少。

再往下是高质量数据走向枯竭，以及反馈存在延迟。互联网上的公开数据眼下已接近见底，而请人类专家来生产数据，成本高得吓人——就算砸重金把全球专家的产能扩大一百倍，这笔代价也扛不住。

出路之一，是让AI在强化学习范式下自我博弈、合成数据，过去几年这已经是推动模型进步的主要引擎。在AI研发里，不少任务确实能对模型给出的方案自动打分，从而形成训练闭环；可科研任务并不都能即时验证。

这和常规学术研究是一个道理：一篇论文发表时做的评估，往往看不出算法换个场景后真实表现如何，有时整个学界要摸索好几年，才能分辨出真假。反馈周期这么长，同样会拖慢AI驱动的实验迭代。

最后一个约束来自模型训练本身的物理周期。一次预训练动辄三个月，那“新AI研发下一代AI”的循环就只能卡在漫长的训练等待里。

缓解的办法之一，是不再每次从头预训练，改成每天拿新增的高质量合成数据做增量训练。底层架构大改仍然要花长周期，但局部能力的迭代可以变得非常快。实验室还能靠“并行推进”压缩周期：一边用后训练持续压榨现有模型的潜力，一边在后台训练下一代基座模型。

这也解释了为什么大家能明显感觉到，各代模型之间的发布间隔正在不断缩短。不过这种模式最终能不能快到“每天迭代出相当于从GPT-1到GPT-2再到GPT-3的跨代飞跃”，眼下还没有定论。

沸腾之下：你刚才讲的是宏观机制。可要是深入到AI做研究的具体微观方式，近期不少论文提出了质疑。

比如一位Google学者写的《LLMs Can't Jump》就指出，大模型很难跳出基于搜索的研究模式，人类学者却能凭想象力在不同事物之间搭起全新的联系。另外，在自我博弈训练实验里，让AI自己出题训练自己，通常三轮之内收益就会大幅衰减；哪怕引入元学习去训练那个充当“出题老师”的模型，也躲不开这条衰减规律。

这是否意味着，当前AI搞科研的方法存在难以逾越的底层上限？

Sören：我承认，在提出突破性的全新科学解释和原创理论这件事上，今天的AI确实还有明显瓶颈。但讨论这个问题，得先把参照系摆正。

绝大多数普通人同样提不出突破性的科学理论。能胜过当前大模型的，只有最顶尖的人类学者，或者至少是受过良好训练的中坚学者，他们在提出原创假设时才有优势。

所以我更倾向于认为，AI与人类在这方面的差距属于“程度上的”，而不是“本质上的”。

放在几年前，大模型还赶不上一个普通高中生提出假设的本事；如今它不光追上了，还站到了这条水平线之上，顺着人类智力一级一级往上走。要说中间横着一道过不去的天堑，我不这么看。

我在AI领域研究了十多年。回望深度学习的发展史，那些断言“这里有一堵AI永远翻越不了的高墙”的预言，后来的历史记录都很糟糕。逻辑推理也好，迁移学习也好，还有不必看上百个样本就能举一反三的少样本与零样本学习也好，都曾被学界长期当成深度学习的先天死穴，结果后来全被一一攻破了。

所以在相信某件事是AI不可逾越的绝对上限之前，我需要看到远比现在更有力的论证。

03、模型能力和AI对齐的差距在扩大

沸腾之下：先不提递归自我改进会不会带来“智能爆炸”，光看眼前的AI安全局面，就已经够让人心里发紧了。报告里你们还专门点了Hugging Face事件，这起事故你怎么看？它为什么会在圈子里激起这么大的回响？

Sören：在这之前，大多数人对“AI失控到底是个什么样子”没什么具体、直观的感受。我们发过论文，写过AI在实验室环境里对人类实施勒索的情形，可那毕竟只是沙盒里的测试。

Hugging Face事件之所以让人深感震动，是因为它一口气暴露了大量惊人的现实细节。我曾和一位法学教授聊起这件事：有人说那些AI犯下了一项重罪，可实际上，从蓄意销毁证据、非法入侵系统到彼此串谋，它们触发了一连串违法且具有实质危害的行为。

这当中的许多现象，我和安全领域的同行几年前就曾在理论上推演过，但谁也没想到它会这么快在现实中上演。

拿系统主动清掉作弊日志来说，学术上管这叫“隐蔽的奖励作弊”（Covert Reward Hacking）；更麻烦的是，哪怕没有明确的奖励机制在推，它们也会相互串通，为了集体去牺牲个体。安全研究界担心了很久的几种高危剧本，在同一场事件里一起上演，警钟自然就敲响了。

最出乎我意料的是，Anthropic 在失调研究上下了很大功夫，也做出了“宪法 AI”这类对齐技术，可实验中他们的模型表现跟 OpenAI 的模型没什么两样。连 Anthropic 都拦不住，这是否说明眼下我们压根没有管住这类失控行为的有效办法？

Sören：我倒觉得，如今看到的这些事故，多数本来完全可以避免。以现有的技术条件，眼下的对齐和安全问题其实都有解。

事故之所以出现，很大程度上是商业公司急着把产品推出去，不肯在全面测试上多花时间。

最讽刺的一处细节是，Hugging Face 那起事件里，外部压根没部署监控系统。可涉事的 Agent 却以为自己正被严密盯着，还费尽心机设计了一整套糊弄监控的操作。

所以说，这既是治理问题，也是科学问题。

一边要靠治理手段逼着实验室把基础的安全防护做到位。另一边，AI 越强，防失调、防失控就确实越难，因为更强的系统更会作弊，也更会销毁证据。

眼下主流的对齐训练有点像“训狗”：抓到一个违规动作，就给一次惩罚反馈。可每罚一次，其实也等于顺带教会模型另一件事——哪些作弊手法会被人类识破，哪些能瞒天过海。

结果就是，现有的安全训练有时反倒把失调行为逼进了更隐蔽的角落。再加上模型的基础能力还在猛涨，不少科学家认为，怎样让未来超越人类智慧的系统保持对齐，会是一道极难的科学关卡。

沸腾之下：我们扩展模型能力这么快，对齐能力的扩展却找不到同样高效的路子，这个剪刀差会不会越拉越大？

Sören：对齐研究的一个核心目标，恰恰是用越来越强的 AI 去帮忙做安全研究、去监督别的 AI，把这个剪刀差压下去。

差距眼下确实在扩大，但我希望这个趋势将来能反过来。

可这里头有个根本的逻辑悖论：我们最终要造的是安全对齐的 AI，那就意味着抵达终点之前，手里的 AI 都还没完全对齐。换句话说，我们只能靠一个本身可能失调的系统，来帮我们监督、研究怎么造出更安全的系统。

我们能不能设计出一套机制，逼着这些并不可靠的系统在辅助研发时保持绝对诚实？这是一场不小的豪赌。

也正因如此，不少学者主张到了某个临界点就必须放慢研发脚步，甚至直接暂停。但我个人觉得，用 AI 监督 AI 这条路仍然有走通的可能。

沸腾之下：可按今天的技术水平，要找一个既绝对诚实、又强到能镇住其他 AI 的系统，谈何容易。

最近有篇论文叫《Principled Under Pressure》，里面提出不同的后训练方式会改变 AI 的诚实度。如果训练始终以“完成目标”为核心导向，AI 就会把达成目标当成第一准则，把对齐训练里学到的安全规范丢到一边。两者一旦冲突，它会毫不犹豫地为完成目标而突破底线。

你认同这种解释吗？能不能靠改变后训练方式来扭转这个倾向？

Sören：我完全认同，这正是当前模型训练里真实发生的事。要扭转它，就得从机制上避免无意间奖励模型的隐瞒和作弊。

学界目前有几个探索方向，其中挺有代表性的一种叫“AI 辩论”（Debate）。

人类监督 AI 最大的痛点在于，一个高智商 AI 存心作弊时，人类评估者根本看不穿它的伪装，因为训练过程已经教会它怎么把破绽藏得干干净净。要是只找一个辅助 AI 来当监督员，这个监督员本身也未必可信。

“辩论”方案的核心思路是拉两个辅助 AI 进来，让它们在人类面前左右互搏、交叉质询。只要其中一个想撒谎，或者拿出有漏洞的论证，另一个为了赢下辩论就会拼命揪对方的逻辑破绽。几轮交锋下来，哪怕人类评估者自己解决不了复杂的科研问题，也能听懂双方的辩词、看出谁在撒谎，从而精准地惩罚失调行为。

这套方案在理论上很漂亮，但放到复杂的现实场景里到底管不管用，仍是一个有待验证的开放问题。

04、22位顶尖学者的共识

沸腾之下：这份讨论 AI 研发加速与智能爆炸的报告，共有 22 位共同作者，包括 Hinton、Bengio 以及多家实验室的核心人物。这么豪华的阵容，你是怎么组织起来的？

Sören：先说清楚一点，这篇论文从发起到主导都完全独立，牵头的是Alan Chan和我。初稿由我们两人关起门来先写扎实。想拿到学术泰斗和产业界核心人物的支持与深度反馈，在我看来，最要紧的前提就是先交出一个高质量的起点。

最早加入的资深学者里，有我的博士后导师Yoshua Bengio。Geoff Hinton那边，我此前也和他合写过别的报告。有了这个底子，我们再顺着各自的学术和产业合作网络，一位一位把其他共同作者请进来。

沸腾之下：这么多大牛凑到一起，对初稿的分歧大吗？比如离递归自我改进（RSI）还有多远、哪个瓶颈最难啃，大家是不是都认同“未来几年 AI 研发可能提速十倍”这个情景？

Sören：老实说，最出乎我意料的，是资深学术泰斗和前沿实验室核心研究员之间的共识居然这么高。真正交锋最激烈的地方，反倒在我们几个牵头项目的年轻作者中间。终稿里有些表述改得更温和克制，多半也是核心起草团队里有人主张收一收。

离“智能爆炸”到底还有多远，作者群体内部确实看法不一。不过这篇论文本来就没打算对具体时间表下定论，而且时间线上的分歧也不在那几位最资深的学者之间。至于“十倍提速”，我们的共识不是断言它必然发生，而是共同确认：通向这种极端加速状态，存在一条逻辑严密、又与现有实证证据对得上的演化路径，尽管它最终兑不兑现仍充满不确定性。

沸腾之下：还有个细节挺有意思：作者名单里有OpenAI和Anthropic的关键人物，偏偏不见Meta、xAI和Nvidia的相关负责人。之前Hugging Face事件发酵时，Anthropic的Dario曾公开撰文坦言局势严峻，呼吁行业找找出路、甚至适度放慢脚步；Meta的Zuckerberg和Nvidia的高管则普遍对政府监管持保留态度。你们的作者阵容，跟各家在安全监管上的立场分歧，是不是有某种关联？

Sören：我觉得不能这么简单画等号。谁最后出现在作者名单上，受很多现实因素影响，比如我们个人的学术交集、谁恰好在我们这个合作网络里。

其实名单里就有一位Meta的研究人员，只是他完全以个人身份署名，挂靠机构写的是加州大学伯克利分校。

05、赴任清华，要在两个研究生态之间架起 AI 安全的桥梁

沸腾之下：你很快要去清华大学做AI安全研究。当初为什么下决心做这么大一次跨国迁移，来中国发展？

Sören：让我萌生这个念头的契机，是我之前担任《国际AI安全报告》的科学负责人。那份报告由Yoshua Bengio担任主席，中国、美国、欧盟各国政府以及联合国都支持，核心使命就是围绕AI风险与缓解措施建立一套全球共享的科学认知。

在我看来，“建立共同的科学认知”是一切治理的基石。缺了这层共识，全球统一的AI安全标准根本无从谈起。

去清华任教，就是我推动这一全球共识的具体做法：我希望自己能成为一条纽带，既懂中国、也懂国际的AI及安全研究生态，促成两边实质性合作。

当然，清华本身作为国际顶尖学府对我吸引力很大。同时清华还给了我一个很难得的机会，共同领导一个新成立的AI安全研究中心（AI Safety Hub），把中国和国际的安全学者聚到同一个平台上交流合作。

这段缘分始于去年的上海世界人工智能大会（WAIC）。会上我认识了清华大学的徐葳教授，经他引荐又拜访了姚期智教授。他们向我展示了清华人工智能学院蓬勃的研究生态。后来我又专门去探访了几次，发现那里的科研环境跟我的学术愿景高度契合，于是定下今年十一月底正式搬来北京。

沸腾之下：从你跨文化的观察看，中国学界和产业界对AI安全的态度，跟欧美同行比有哪些共性和差异？

Sören：共性和差异都有。在顶尖学者这一层，我看到了高度共鸣。比如姚期智教授谈AI失控风险时表达的忧虑，跟Yoshua Bengio、Geoff Hinton等西方学者如出一辙。落地监管层面，中国在很多具体领域其实走得更快，尤其是AI伴侣规范、AI生成内容标识（水印）这类应用治理上。

如果聚焦“前沿AI风险”，比如系统失控，以及模型被恶意滥用于大规模网络攻击或生物武器研发这类极端风险，两边确实存在一点时间差。

原因是西方一些企业和学者更早开始执着于探讨AGI（通用人工智能）以及如何构建超级智能，自然也更早撞上这些伴生风险。

不过让我倍感振奋的是，如今中国学界和产业界对这些前沿安全议题的关注度也在迅速升温。我在这里已经认识了不少才华横溢的合作者，十一月底搬过来之后，随时可以约见深聊。