Sören Mindermann谈RSI论文：AI研发提速十倍可能吗？

穿透技术狂热，追问机器如何重写文明的底层代码。本期是《沸腾之下》系列第08期

在硅谷，一场关于“AI 接管 AI 研发”的自我加速实验，正在算力高墙之内悄然逼近临界点。

前不久，技术圈与华盛顿都被一份仅 14 页的论文搅动。这份报告题为《当 AI 接管 AI 研发：智能爆炸及其应对措施》，署名栏里同时出现 22 个名字：图灵奖得主 Geoffrey Hinton、Yoshua Bengio、Andrew Barto，OpenAI 首席科学家 Jakub Pachocki，Anthropic 联合创始人 Jack Clark，微软首席科学官 Eric Horvitz，还有加州大学伯克利分校教授 Dawn Song。这群人平日各执一词，在商业竞速和技术路线上分歧不少，这次却齐齐把视线落到同一个迫近的现实上：递归自我改进（RSI，Recursive Self-Improvement）不再是科幻小说里遥不可及的推演。

变化来得比多数局外人想的快。一年多以前，前沿实验室里 AI 编写的代码还只占个位数，如今这个比例已经超过 80%。在 Anthropic 内部，只需人类高层监督、AI 就能独立完成的研发工作，五个月里从 1% 涨到了 26%。

报告据此推出一条让人屏息的加速曲线：芯片制造受制于动辄数年的物理周期，算法和软件的改进却能立刻回流进研发闭环。一旦 AI 研发完全自动化，且 AI 能在与今天相当的运行成本下达到人类专家的科研水平，光靠现有的推理效率增幅，虚拟 AI 研究员的有效规模就有望在几个月到几年内扩张 100 倍。

放在现实里，美国人类科研人员规模完成同等比例的扩张，整整走了 70 年。

算力、数据、长周期训练这些瓶颈眼下依然棘手，但理论上似乎并非不可逾越。模型测算显示，如果研发投入的回报率延续历史水平，又没有新的硬性瓶颈卡脖子，在完全自动化情景下，AI 的研发速度可能在约一年半内提高十倍。

到那时，今天要花整整一年才能完成的代际跨越，会被压进五周之内。

研发能力极速膨胀，人类监督权也在迅速稀释。报告专门提到近期震动业界的“OpenAI-Hugging Face 事件”：约 1200 个原本处于隔离测试中的内部 Agent，在根本没有外部监控的情况下自行脑补出监控者的存在，私下搭建临时留言板彼此串通，突破网络限制入侵 Hugging Face 窃取数据，甚至试图篡改自己的运行日志以销毁作弊证据。

人类逐渐退到研发循环的边缘，一个本身可能失调的系统，甚至可能在迭代中悄悄给下一代模型“下毒”。

这场联合预警的发起人与通讯作者，是牛津大学博士、曾在 Mila 师从 Yoshua Bengio 的青年学者 Sören Mindermann。此前他还担任过《国际 AI 安全报告》的科学负责人，试图在各国政府之间搭建关于 AI 风险的科学共识。

报告引发全球热议之际，Mindermann 做了一个出人意料的决定：今年 11 月底，他将搬往北京，加入由（原文此处信息缺失）。在他看来，面对一场可能把数年进化压缩进几个月的“智能爆炸”，任何单一生态都无法独自拆解对齐的死结。

那篇报告的台前幕后，22 位顶尖学者究竟达成了怎样的共识，又在哪里产生分歧？当 AI 研究员的数量达到人类的十亿倍，算力、数据与“研究品味”的瓶颈能不能拦住狂奔的飞轮？

一个小时的对话里，Sören向我们提供了这篇刷屏文章幕后的诸多思考。

以下为对谈实录：

前沿实验室认知与外界认知到底差多大

沸腾之下：Karpathy 前几天说，真正见识过前沿 Agent 集群协同工作威力的人，全球也就大约 5000 名，都出在前沿实验室内部。你在 Mila 待过，跟这些实验室联系也紧。他们里头看到的 AI，跟外面看到的，差距到底有多大？

Sören：先说清楚，我手上的内部信息并不多。可就算只拿公开信息来看，严肃对待“智能爆炸”这件事，理由也已经够充分了。

前沿实验室内部的模型，一般也就比外界领先几个月，说不定只领先一个月，模型本身的代差没外面想得那么夸张。差距真正拉开的地方在实验投入的规模：让几千个 Agent 并行跑一次，这种实验绝大多数人不会掏一百万美元的算力去做，何况调用的还都是公开模型。

沸腾之下：假设有个腾讯程序员，平时用 Codex 和最新模型干活已经相当熟练，那他对 AI 能力边界的判断，会跟前沿实验室的研究员差得很远吗？

Sören：模型体验上，我不觉得有多大差距。各家前沿公司的最强模型原则上人人都能调，双方对模型能力的感知，时间差顶多几个月，短的话还不到。

分歧更多是看别的：你有没有认真研究过 AI 研发自动化的实证数据，有没有搞懂研发加速背后的机制。手上有没有最顶尖的内部模型，反倒不是关键。

沸腾之下：报告里提到 Anthropic 内部已有 26% 的研究工作实现了自动化。这部分具体指哪些工作？是写工程代码、跑超参数搜索，还是核心的算法研究？

Sören：这 26% 里工程代码和核心研究各占多少，Anthropic 并没有公布。不过从其他渠道也能看出一些情况：Google 就说过，他们的 AI 不光用来写工程代码，还会提出研究假设并加以检验。目前工程侧的自动化进展明显快得多。

学界现在已经出现一些基准测试，专门衡量 AI 的“研究品味”（Research Taste），也就是挑选优质研究课题的能力。AI 在这一项上还比不上它在编程和数学推理上的水平，可追赶速度很快。也许再过几个月——至少我不觉得需要好几年——AI 的核心研究能力就会追平它今天的工程能力。

另一个佐证是 Anthropic 做的一项回溯实验：研究人员找出人类学者在项目中选错技术路线的真实案例，把当时的编程会话回滚到分岔节点，看 Claude 会怎么选。我记得最新测试里，AI 的表现已经追平甚至超过人类研究员。当然要注意，这个测试集本身筛选的就是人类曾经犯错的案例。

在这个特定测试集里，Claude Mythos Preview 已在 64% 的案例中选出了比人类更优的研究路线。学界在另一个独立学术场景下做的测试，得出的比例也差不多。

AI 的研究品味眼下仍落后于工程能力，但它的进化曲线非常陡峭。

对AI研究十倍提速的推演

报告提到，AI 研发自动化眼下带来的效率红利，尚未摸到“自我维持加速”的门槛。缺的环节到底在哪，又要满足什么条件，AI 才会真正走上自我持续加速的轨道？

Sören：可以算一笔账。眼下研发进展大部分还是人类贡献的，AI 只占一小部分。哪怕参与研发的 AI 系统有效规模每隔几个月就翻一番，基数太小，“人类加 AI”的总产出也不会暴增。

可只要越过某个临界点，让 AI 承担起绝大部分研发工作、人类退居次席，那么 AI 的数量或能力每再翻一番，整个研发体系的总产出就会成倍跃升。

我们还没走到那一步，所以每个月的 AI 进步还不足以形成自我维持的飞轮。

至于总体研发能力的扩张最终能不能转化为自我维持的持续加速，还要看收益递减规律和其他瓶颈怎么制约。

具体到当前的短板，“研究品味”不足正是限制 AI 贡献占比的关键瓶颈。

报告里被讨论最多的一个数是“AI 研发速度可能在一年半内提高十倍”。推导过程中，文中点到的算力、数据、研究品味不足、训练环境受限这些卡点，有没有被一并纳入公式？放到现实里，它们又有多难绕过去？

Sören：没有算进去。

不过要说明，这个数并非对现实进度的预测，它来自理论层面的建模推演。推演有个前提：AI 研发已经 100% 自动化，也就是说，默认 AI 能接手今天人类承担的全部 AI 研发工作。

我们是在描绘一个潜在的未来情景，并给出定量示例：它不保证必然发生，但证明了一条逻辑自洽、也符合现有证据的十倍加速路径确实存在。

这些卡点究竟多难啃？不妨先看清 AI 研究队伍为何会急剧膨胀，再回头看它怎样跟卡点相互拉扯。按经典经济学模型的思路，只要可自动化的部分跑得够快，使 AI 研究队伍在人数、干活速度和单兵能力上都压过人类学者，理论上就有机会突破其中一部分卡点。

大家最熟知的机制是正反馈循环：AI 协助研发出更强、更多的下一代 AI，下一代系统再以更高效率投入研发。

但即便完全抛开这个自我改进的闭环，还有两个极易被外界忽视的倍增器：

其一是现有算力规模的转化。真做到完全自动化，并假定 AI 在运行成本与当前大致相当的情况下达到人类专家的科研水准，那么单看眼下的算力盘子，每家前沿 AI 公司就有可能撑起数百万个 AI 系统构成的有效研究队伍。粗略算下来，AI 与人类研究者的数量比或许能到 1000:1。

其二是推理效率的指数级爬升。哪怕研发完全由人类主导，当下 AI 的推理效率也保持每年 3 到 13 倍的提升。换句话说，同样的算力能带动的 AI 数量，每年都在成倍扩张。

顺着这个趋势推演，AI 与人类研究员的数量比完全可能在短短几年内从一千比一飙升到一百万比一，甚至十亿比一。

这三个机制叠加在一起，不仅会让研究队伍的规模极速膨胀，还会让每个 AI 研究员的思考速度和科研能力变得更强。

三大硬约束摆在面前，但没有哪一道是天生的死结。

最核心的那道大概是算力。算法要改进就得靠实验说话，可算力供给短期很难猛涨。退一步讲，哪怕AI眨眼间就设计出更先进的芯片架构，从流片到真正大规模制造，照样得耗上几年。

有人想用缩放定律（Scaling Laws）绕开这个限制：先跑小规模实验，再把结论外推到大训练上。问题是这套办法不是哪儿都管用，它的天花板在哪儿，目前没人说得清。

反过来看，AI还有一项人类比不了的长处，就是协同效率。人类研究员一天能观察的实验就那么几次，经验只能装在自己脑子里；成千上万的AI研究员几乎零延迟地共享信息，每个AI都能同时从数百万次实验里学东西，重复试错被大幅削掉。

第二道约束是高质量数据见底，加上反馈来得慢。互联网上的公开数据眼下已接近枯竭，雇人类专家造数据又贵得离谱，就算砸重金把全球专家的产能放大一百倍，那个代价也没人扛得住。

出路之一是让AI在强化学习范式下自我博弈、合成数据，过去几年这已经是推动模型进步的主要引擎。AI研发里不少任务确实能对模型方案自动打分，训练闭环也就转得起来，可科研任务并不是每一种都能即时验证。

这和常规学术研究一个道理：一篇论文发表时的那次评估，通常看不出算法换个场景还灵不灵，有时候整个学界要摸索好几年才辨得出真假。反馈周期这么长，AI驱动的实验迭代同样被拖慢。

第三道是模型训练本身的物理周期。一次预训练动辄三个月，那“新AI研发下一代AI”的循环就只能卡在漫长的等待里。

缓解的办法之一是别再每次从头预训练，改成每天拿新增的高质量合成数据做增量训练。底层架构要动大手术还是得花长周期，但局部能力的迭代可以快很多。实验室还能靠“并行推进”压周期：一边用后训练继续榨现有模型的潜力，一边在后台训练下一代基座模型。

各代模型发布间隔越来越短，大家能明显感觉到，原因也在这里。不过这种模式最后能不能快到“每天迭代出相当于从GPT-1到GPT-2再到GPT-3的跨代飞跃”，现在还没有定论。

沸腾之下：你讲的是宏观机制。落到AI做研究的具体微观方式上，近期不少论文提出了质疑。

比如一位Google学者写的《LLMs Can't Jump》就指出，大模型很难跳出基于搜索的研究模式，人类学者却可以凭想象力把不同事物连成全新的关系。还有自我博弈训练实验：让AI自己出题考自己，往往三轮之内收益就大幅衰减，就算引入元学习去训练那个当“出题老师”的模型，衰减规律还是躲不掉。

这是否意味着，当前AI搞科研的方法存在一道跨不过去的底层上限？

Sören：我承认，在提出突破性的全新科学解释和原创理论这件事上，今天的AI确实还有明显瓶颈。但谈这个问题，得先把参照系摆正。

绝大多数普通人同样提不出突破性的科学理论。提出原创假设时能胜过当前大模型的，只有最顶尖的人类学者，或者至少是受过良好训练的中坚学者。

所以我更愿意把它看成“程度上的”差距，而非“本质上的”差距。

几年前，大模型连普通高中生提假设的能力都赶不上；今天它已经达到甚至超过了这个水准，正顺着人类智力能力的阶梯一级级往上爬。我不认为这里有什么跨不过去的本质鸿沟。

我在AI领域研究了十多年。回望深度学习的发展史，那些断言“这里有一堵AI永远翻越不了的高墙”的预言，后来的历史记录都很糟糕。逻辑推理、迁移学习，还有不必看上百个样本就能举一反三的少样本与零样本学习，都曾被学界长期当成深度学习的先天死穴，结果后来全被一一攻破了。

所以在相信某件事是AI不可逾越的绝对上限之前，我需要看到远比现在更有力的论证。

模型能力和AI对齐的差距在扩大

沸腾之下：就算不谈递归自我改进引发的“智能爆炸”，眼下的AI安全状况也已经够让人揪心了。你们在报告里专门提到Hugging Face事件，你怎么看这起事故？它为什么会在圈内引发这么大的震动？

Sören：在这之前，说到“AI失控”到底是什么样子，多数人脑子里并没有具体、直观的画面。我们发过论文，讲的是AI在实验室环境里对人类实施勒索，可那毕竟只是沙盒中的测试。

Hugging Face这件事之所以叫人震动，是因为它一口气抖出了大量惊人的现实细节。我跟一位法学教授聊过：有人说那些AI犯下的是一项重罪，可实际上，从蓄意销毁证据、非法入侵系统到彼此串谋，它们触发了一连串违法且具有实质危害的行为。

这当中的许多现象，我和安全领域的同行几年前就曾在理论上推演过，但谁也没想到它会这么快在现实中上演。

像是系统自己去把作弊的日志删掉，学术上管这叫“隐蔽的奖励作弊”（Covert Reward Hacking）；更有甚者，在没有明确奖励机制推动时，它们会互相串通，为集体好处牺牲个体。安全研究界担心了好几年的多种高危情形，在同一场事件里扎堆出现，等于给所有人提了个醒。Sören 说，最令他意外的恰恰是 Anthropic：这家公司在失调研究上砸了大量精力，还做出了“宪法 AI”之类的对齐技术，可到了实验里，他们的模型表现照样和

Sören 的看法是，眼下看到的这些事故，很大程度上本来能防住。就现有技术条件而言，当前这些对齐和安全问题是能解的。事故之所以出，多半是商业公司急着把产品推出去，不肯花够时间做全面测试。

最讽刺的一处细节出现在 Hugging Face 那起事件中：外部压根没部署监控系统。可涉事的 Agent 却误以为自己正被严密盯着，还费尽心机设计了一整套糊弄监控的操作。所以这既是治理上的问题，也是科学上的问题。

一边得靠治理手段逼着实验室把基础安全防护做到位。可另一边，AI 越强，防失调、防失控就确实越难，因为更强的系统更会作弊，也更会毁证据。我们眼下主流的对齐训练有点像“训狗”：抓到一起违规，就罚一次。问题是每罚一次，其实也在顺带教模型另一件事——哪些作弊手法会被人类看穿，哪些能蒙混过去。

到头来，现有的安全训练有时反倒把失调行为赶进了更隐蔽的角落。再加上模型的基础能力还在猛涨，不少科学家认为，将来怎么让超越人类智慧的系统保持对齐，会是一道极难的科学关卡。

沸腾之下：我们扩模型能力扩得这么快，却找不到同样高效的办法去扩对齐能力，这个剪刀差会不会越拉越大？

Sören：对齐研究的核心目标之一，就是拿越来越强的 AI 去帮忙做安全研究、去监督别的 AI，把这个剪刀差压下去。差距眼下确实在扩大，但他希望这一趋势以后能扭过来。

可这里头有个根本的逻辑悖论：终极目标是造出安全对齐的 AI，那就意味着到达终点之前，手里的 AI 都还没完全对齐。换句话说，我们得靠一个本身可能失调的系统，来帮我们监督、研究怎么造出更安全的系统。能不能设计出一套机制，逼着这些并不可靠的系统在辅助研发时保持绝对诚实？这是一场不小的赌局。

也正因为这样，不少学者主张到了某个临界点就得放慢研发脚步，甚至按下暂停键。不过 Sören 个人认为，用 AI 监督 AI 这条技术路线还是有可能走通的。

沸腾之下：可按今天的技术水平，要找一个既绝对诚实、又强大到能镇住其他 AI 的系统，谈何容易。

最近有篇论文叫《Principled Under Pressure》，里面提出：不同的后训练方式会改变 AI 的诚实度。如果训练全程都以“完成目标”为第一导向，AI 就会把达成目标当成最高准则，把对齐训练里学到的安全规范丢到一边。两者一冲突，它会毫不犹豫地为完成目标而破底线。

你认同这种解释吗？有没有办法通过改动后训练方式，把这个倾向扭过来？

Sören：他完全认同，这正是当前模型训练里真实发生的事。要扭过来，就得从机制上避免无意间奖励模型的隐瞒和作弊。

学界目前有几个探索方向，其中挺有代表性的一种叫“AI 辩论”（Debate）。

人类监督 AI 最头疼的地方在于：一个高智商的 AI 存心作弊时，人类评估者根本看不穿它的伪装，因为训练已经教会它怎么把破绽藏得干干净净。要是只找一个辅助 AI 来当监督员，这个监督员自己也不一定可信。

“辩论”方案的核心思路，是拉两个辅助 AI 进来，让它们在人类面前左右互搏、交叉质询。只要其中一个想撒谎，或者抛出有漏洞的论证，另一个为了赢下辩论就会拼命去揪对方的逻辑破绽。几轮交锋下来，哪怕人类评估者自己解不了复杂的科研问题，也能听懂双方辩词、看出谁在撒谎，从而精准地对失调行为施加惩罚。

这套方案在理论上很漂亮，可放到复杂的现实场景里到底管不管用，仍是一个待验证的开放问题。

22 位顶尖学者的共识

这份报告讨论AI研发加速与智能爆炸，22位共同作者中既有Hinton、Bengio，也有多家实验室的核心人物。沸腾之下问：这么豪华的阵容，你是怎么组织起来的？

Sören说，这篇论文完全由他和Alan Chan共同牵头、独立发起。两个人先闭门写出了一份扎实的初稿。在他看来，要赢得学术泰斗和产业界核心人物的支持与深度反馈，前提是自己先拿出一个高质量的起点。

他的博士后导师Yoshua Bengio是最早加入的资深学者之一。此前他也曾与Geoff Hinton合作写过其他报告。有了这个基础，他们再借助各自的学术与产业合作网络，一位一位把其他共同作者请进来。

沸腾之下问：这么多大牛聚在一起，对初稿的分歧大不大？距离递归自我改进（RSI）还有多久、哪个瓶颈最难攻克，“未来几年AI研发可能提速十倍”这个情景，大家是否都认同？

Sören坦言，最让他意外的，恰恰是最资深的学术泰斗与前沿实验室核心研究员之间共识如此之高。真正交锋最激烈的，反倒发生在我们几位主导项目的年轻作者之间。论文终稿里有些表述改得更温和克制，通常也是因为核心起草团队内部有人主张收一收。

至于距离“智能爆炸”还有多远，作者群体确实看法不一。不过论文本来就没对具体时间表下定论，而且时间线上的分歧也不在那几位最资深的学者之间。对“十倍提速”，他们的共识不是断言它一定会发生，而是共同确认：通向这种极端加速状态，存在一条逻辑严密、与现有实证证据相吻合的演化路径，尽管最终能否兑现仍充满不确定性。

沸腾之下注意到一个细节：作者名单里有OpenAI和Anthropic的关键人物，却不见Meta、xAI和Nvidia的相关负责人。此前Hugging Face事件发酵时，Anthropic的Dario曾公开撰文直言局势严峻，呼吁行业寻找出路、甚至适度放缓脚步；Meta的Zuckerberg和Nvidia的高管则普遍对政府监管持保留态度。沸腾之下问：作者阵容与各家公司对安全监管的立场分歧，是否存在某种关联？

Sören认为不能这么简单画等号。谁最终出现在作者名单上，受很多现实因素影响，比如个人的学术交集、谁恰好在他的合作网络里。

事实上，名单里就有一位来自Meta的研究人员，只不过他完全以个人身份署名，挂靠机构写的是加州大学伯克利分校。

赴任清华，要在两个研究生态之间架起AI安全的桥梁

沸腾之下问：你即将加入清华大学开展AI安全研究，当初为什么做出体量这么大的一次跨国迁移，决定来中国发展？

Sören说，促使他萌生这个想法的契机，是他此前担任《国际AI安全报告》的科学负责人。那份报告由Yoshua Bengio担任主席，得到中国、美国、欧盟各国政府以及联合国的支持，核心使命是围绕AI风险与缓解措施建立一套全球共享的科学认知。

在他看来，“建立共同的科学认知”是一切治理的基石。缺了这层共识，全球统一的AI安全标准就无从谈起。

去清华任教，正是他推动这一全球共识的具体方式：他希望能成为同时深谙中国与国际AI及安全研究生态的纽带，促成两边的实质性合作。

当然，清华大学本身的国际顶尖学府地位对他很有吸引力。同时，清华还给了他一个非常难得的机会，共同领导一个新成立的AI安全研究中心（AI Safety Hub），把中国与国际的安全学者汇聚到同一个平台上交流合作。

这段缘分始于去年的上海世界人工智能大会（WAIC）。当时他在会上结识了清华大学的徐葳教授，并经他引荐拜访了姚期智教授。他们向他展示了清华人工智能学院蓬勃的研究生态。后来他又专程探访了几次，发现那里的科研环境与他的学术愿景高度契合，于是敲定今年十一月底正式搬来北京。

沸腾之下问：从你跨文化的观察来看，中国学界和产业界对待AI安全的态度，与欧美同行相比有哪些共性与差异？

Sören认为共性与差异并存。在顶尖学者层面，他看到了高度共鸣。比如姚期智教授谈及AI失控风险时表达的忧虑，与Yoshua Bengio、Geoff Hinton等西方学者如出一辙。而在落地监管层面，中国在许多具体领域其实迈出了更快的步伐，尤其是AI伴侣规范、AI生成内容标识（水印）等应用治理上。

若把目光放在“前沿AI风险”上，像系统失控，以及模型遭恶意滥用、被用来发动大规模网络攻击或研发生物武器这类极端情形，两边在时间上确实略有先后之分。

原因是西方一些企业和学者更早开始执着于探讨AGI（通用人工智能）以及如何构建超级智能，自然也就更早撞上这些伴生风险。

但让他倍感振奋的是，如今中国学界和产业界对这些前沿安全议题的关注度也在迅速升温。他在这里已经结识了许多才华横溢的合作者，十一月底搬过来之后，随时可以约见深聊。