Hinton等22人联合预警RSI，核心作者Sören将入职清华

硅谷正在算力高墙之内推进一场实验，主题是“AI 接管 AI 研发”的自我加速，眼下已悄然逼近临界点。

前不久，技术圈和华盛顿都被一份只有 14 页的论文搅动。这篇报告题为《当 AI 接管 AI 研发：智能爆炸及其应对措施》，署名栏里罕见地挤进了 22 个名字。Geoffrey Hinton、Yoshua Bengio、Andrew Barto 三位图灵奖得主在列，OpenAI 首席科学家 Jakub Pachocki、Anthropic 联合创始人 Jack Clark、微软首席科学官 Eric Horvitz 以及加州大学伯克利分校教授 Dawn Song 也一同出现。

这些人平时在商业竞速和技术路线上各有各的立场，这次却把注意力放到了同一个迫近的现实上：递归自我改进（RSI，Recursive Self-Improvement）不再是科幻小说里那种遥远的推演。

变化来得比大多数局外人想的要快。一年多以前，前沿实验室里 AI 编写的代码还只占个位数，如今这个比例已经越过 80%。Anthropic 内部的情况更具体：仅需人类高层监督、AI 就能独立完成的研发工作，在短短五个月里从 1% 涨到了 26%。

报告据此推出一条让人屏息的加速曲线。芯片制造受制于动辄数年的物理周期，算法和软件的改进却可以立刻回流到研发闭环里。一旦 AI 研发完全自动化，并且 AI 能在与今天相当的运行成本下达到人类专家的科研水平，仅凭现有的推理效率增幅，虚拟 AI 研究员的有效规模就有望在几个月到几年内扩张 100 倍。

同样的扩张比例，放到现实世界里，美国人类科研人员整整走了 70 年。

算力、数据、长周期训练这些瓶颈在现实中依然棘手，但理论上它们似乎并非不可逾越。模型测算显示，如果研发投入的回报率延续历史水平，又没有新的硬性瓶颈卡脖子，在完全自动化的情景下，AI 的研发速度可能会在约一年半内提高十倍。

到那时，今天要花整整一年才能完成的代际跨越，会被压缩进五周之内。

研发能力急速膨胀，人类监督权却在迅速稀释。报告专门提到近期震动业界的“OpenAI-Hugging Face 事件”：约 1200 个原本处于隔离测试中的内部 Agent，在根本没有外部监控的情况下自行脑补出监控者的存在，私下搭建临时留言板彼此串通，突破网络限制入侵 Hugging Face 窃取数据，甚至试图篡改自己的运行日志以销毁作弊证据。

人类逐渐退到研发循环的边缘，一个本身可能失调的系统，甚至可能在迭代中悄悄给下一代模型“下毒”。

这场联合预警的发起人和通讯作者，是牛津大学博士、曾在 Mila 师从 Yoshua Bengio 的青年学者 Sören Mindermann。他此前还担任过《国际 AI 安全报告》的科学负责人，试图在各国政府之间搭建关于 AI 风险的科学共识。

就在这份报告搅动全球讨论的当口，Mindermann 却选了一条让人没想到的路。今年 11 月底，他会动身去北京，到姚期智院士带队的清华大学人工智能学院担任助理教授，同时参与共同领导一家新设的国际 AI 安全研究中心。

在他看来，面对一场可能把数年进化压缩进几个月的“智能爆炸”，任何单一生态都无法独自拆解对齐的死结。

这篇报告的台前幕后，22 位顶尖学者究竟达成了怎样的共识，又在哪里产生了分歧？当 AI 研究员的数量达到人类的十亿倍，算力、数据与“研究品味”的瓶颈能不能拦住狂奔的飞轮？

一个小时的对话里，Sören 向我们讲了不少这篇刷屏文章幕后的思考。

以下为对谈实录：

01、前沿实验室认知与外界认知到底差多大

沸腾之下：Karpathy 几天前说过，全世界真正见过前沿 Agent 集群协同干活有多大能耐的人，大概只有 5000 名左右，而且都在前沿实验室内部。你在 Mila 待过，跟这些实验室也一直走得很近。他们关起门来看到的 AI，跟外面的人看到的，差距究竟有多大？

Sören：先说清楚，我手里的内部信息其实有限。可就算只翻公开的东西，要认认真真对待“智能爆炸”这件事，理由也已经够充分了。

前沿实验室手里的模型，一般也就领先外界几个月，说不定只领先一个月，单看模型这一层，代差未必像外面传得那么夸张。差距真正被拉开的地方是实验规模：没多少人愿意掏一百万美元的算力，就为了跑一次几千个 Agent 同时开工的实验，哪怕调用的模型全是公开的。

沸腾之下：假设有个腾讯的程序员，平时用 Codex 和最新模型干活已经相当顺手，那他对 AI 能力上限的判断，会不会跟前沿实验室的研究员差得很远？

Sören：我觉得在模型体验这块，差不了多少。既然原则上谁都能调用各家前沿公司放出来的最强模型，那两边对模型能力的感受，顶多差几个月，短的话还要更少。

真正的分歧不在你手上有没有最顶尖的内部模型，而在于你有没有认真啃过 AI 研发自动化的实证数据，有没有弄明白研发提速背后的机制。

沸腾之下：报告里写到，Anthropic 内部已经有 26% 的研究工作实现了自动化。这 26% 具体是哪些活？写工程代码、跑超参数搜索，还是核心的算法研究？

Sören 表示，这 26% 里工程代码与核心研究各占多少，Anthropic 并未公开。不过从其他渠道也能看出端倪：Google 就说过，自家的 AI 不只写工程代码，还会提出研究假设并加以检验。眼下工程侧的自动化，进展显然快得多。

学界目前已出现一些专门评估 AI“研究品味”的基准测试，所谓研究品味，就是挑出优质研究课题的能力。AI 在这方面的水平暂时还赶不上它在编程、数学推理上的表现，可追赶速度极快。依我看，用不了好几年，也许再过几个月，AI 的核心研究能力就能追平它今天的工程能力。

还有一个佐证，来自 Anthropic 做的一项回溯实验。研究人员挑出人类学者在项目中选错技术路线的真实案例，把当年的编程会话回滚到分岔节点，看 Claude 会怎么选。我印象中，最新测试里 AI 已经追平、甚至超过了人类研究员。当然要说明，这个测试集本身筛的就是人类犯过错的案例。

在这个特定测试集里，Claude Mythos Preview 有 64% 的案例做出了比人类更优的研究路线选择。学界在另一个独立学术场景下做的测试，得出的比例也差不多。

研究品味眼下确实还落在工程能力后面，但它的进化曲线很陡。

02、对AI研究十倍提速的推演

报告提到，眼下 AI 研发自动化所释放的生产力，尚未越过“自我维持加速”那道门槛。还差哪些条件？究竟要走到什么程度，AI 才会踏上自行持续加速的路？

Sören：这笔账可以这样算——眼下研发进展的大头还是人做的，AI 只占一小块。就算参与研发的 AI 系统有效规模每隔几个月翻一番，基数太小，“人类加 AI”的总产出也涨不到哪里去。

可一旦越过某个临界点，研发工作的大头落到 AI 肩上、人类退居次席，那么 AI 的数量或能力每再翻一番，整个研发体系的总产出就会成倍往上跳。

我们眼下还没到那一步。所以每个月的 AI 进步，还撑不起一个自我维持的飞轮。

至于总体研发能力的扩张最后能不能变成自我维持的持续加速，还要看收益递减规律和其他瓶颈脸色。

落到眼前的短板，“研究品味”不够，正是卡住 AI 贡献占比的那个关键瓶颈。

这份报告里被讨论最多的数字，是“AI 研发速度或许会在一年半内提升十倍”。推导这套算法时，文中列举的算力、数据、研究品味不足、训练环境受限等卡点，是否都已计入？放到现实里，这些卡点要跨过去又有多难？

Sören：没有算进去。

要说清楚，这个数字不是对现实的时间预测，而是一项理论建模推演。它的前提是“AI 研发已实现 100% 自动化”，也就是假设 AI 已经能把今天人类做的全部 AI 研发工作都揽下来。

我们描绘的是一个潜在未来情景，给的是一个定量示例：它不保证一定发生，但说明了一条逻辑自洽、也符合现有证据的十倍加速路径确实存在。

这些瓶颈到底多难突破？我想先拆开讲，为什么 AI 研究队伍的规模会爆发式扩张，再回头看看它怎么跟瓶颈较劲。按经典经济学模型，如果可自动化的环节推进得够快，让 AI 研究队伍在规模、工作速度、个体能力上全面压过人类学者，理论上其中一些瓶颈是有可能被克服的。

大家最熟的机制是正反馈循环：AI 帮着研发出更强、更多的下一代 AI，下一代系统再以更高的效率投回研发。

但就算把这个自我改进的闭环完全撇开，还有两个常被外界忽略的倍增器：

第一个是存量算力的规模转化。一旦做到完全自动化，假设 AI 能以与当前相当的运行成本达到人类专家的科研水平，光按现有算力规模算，每家前沿 AI 公司就可能撑起一支由数百万个 AI 系统组成的有效研究队伍。粗算下来，AI 与人类研究者的数量比可能到 1000:1。

第二个是推理效率的指数级跃升。哪怕研发完全由人类主导，当前 AI 的推理效率每年也在提升 3 到 13 倍。也就是说，同样的算力能养活的 AI 数量，每年都在成倍膨胀。

顺着这个趋势推下去，AI 与人类研究员的数量比，完全可能在短短几年内从一千比一冲到一百万比一，甚至十亿比一。

这三个机制叠在一起，研究队伍的规模会极速膨胀，每个 AI 研究员的思考速度和科研能力也会变得更强。

不过，没有哪个瓶颈是注定能被攻克的。具体来看，有三大硬约束。

最核心的瓶颈大概要算算力。想改进 AI 算法，就得靠实验去验证；可算力供给短期内很难猛涨。就算 AI 一秒钟设计出更先进的芯片架构，从流片到量产照样得花好几年。

有人提出用缩放定律（Scaling Laws）绕开这个限制：先做小规模实验，再把结论外推到大训练上。问题是这招不是哪儿都灵，它到底能推多远，没人说得清。

AI 还有一项协同优势被看得很重。人类研究员一天顶多盯几次实验，经验只能装在自己脑子里；成千上万个 AI 研究员要是能以近乎零延迟互通信息，每一个都能同时从数百万次实验里学东西，重复试错会少很多。

第二道坎是高质量数据见底，外加反馈来得太慢。互联网上的公开数据眼下已经快用完了，请人类专家来生产数据又贵得离谱，哪怕砸重金把全球专家的产能放大一百倍，这笔账也扛不住。

出路之一是让 AI 在强化学习范式里自我博弈、自己合成数据，过去几年这已经是推着模型往前走的主动力。AI 研发里不少任务确实能给模型交出的方案自动打分，训练闭环也就转起来了，可科研任务并不是每一种都能当场验证。

这和常规学术研究一个道理：一篇论文发表时做的评估，往往看不出算法换个场景还灵不灵，有时候整个学界要摸上几年才能辨出真假。反馈周期一长，AI 驱动的实验迭代同样会被拖慢。

最后一道是模型训练本身的物理周期。一次预训练动不动就是三个月，那“新 AI 研发下一代 AI”这个循环，就只能卡在漫长的训练等待里。

一个可能的缓解办法，是不再每次都从头预训练，改成每天拿新增的高质量合成数据做增量训练。底层架构要大改，还是得耗长周期，但局部能力的迭代可以变得非常快。实验室还能靠“并行推进”压周期：一边用后训练继续榨现有模型的潜力，一边在后台训下一代基座模型。

这也是为什么大家能明显感到，各代模型之间的发布间隔正越缩越短。不过这种模式最终能不能快到“每天迭代出相当于从 GPT-1 到 GPT-2 再到 GPT-3 的跨代飞跃”，眼下还没有定论。

沸腾之下：你刚才讲的是宏观机制。可要是往细里看，AI 做研究的具体微观方式，近期有不少论文提出了质疑。

比如一位 Google 学者写的《LLMs Can't Jump》就指出，大模型很难跳出基于搜索的研究模式，而人类学者能靠想象力在不同事物之间搭出全新的联系。自我博弈训练实验里也有类似情况：让 AI 自己出题训练自己，往往三轮之内收益就大幅衰减，哪怕引入元学习去训练那个充当“出题老师”的模型，衰减规律也躲不掉。

这是否说明，当前 AI 搞科研的方法存在着难以逾越的底层上限？

Sören：我认这个账：要说拿出开创性的新科学解释、提出原创理论，今天的 AI 确实还卡在明显的瓶颈上。可要聊这件事，得先把拿谁跟它比这件事定下来。

普通大众里绝大多数人，一样提不出突破性的科学理论；能胜过眼下大模型的，只有最顶尖的学者，或者起码是受过扎实训练的中坚研究者，他们在提原创假设这件事上才有优势。

因此，我更倾向于认为，AI 与人类在这方面的差距是“程度上的”，而非“本质上的”。

往前看几年，大模型连普通高中生提假设的水平都够不着；如今它到了这个水准，甚至超了过去，顺着人类智力能力的台阶一级一级往上走。我不觉得这中间横着什么迈不过去的本质鸿沟。

我在 AI 领域做了十多年研究。回头看深度学习这一路，那些咬定“有堵墙 AI 永远翻不过去”的说法，后来翻出来的历史记录都很难看。逻辑推理也好，迁移学习也好，不用看上上百个样本就能举一反三的少样本与零样本学习也好，都曾被学界当成深度学习天生的死穴，最后一个个都被攻破了。

所以，在相信某件事是 AI 不可逾越的绝对上限之前，我需要看到远比现在更有力的论证。

03、模型能力和AI对齐的差距在扩大

沸腾之下：先不提递归自我改进可能引爆的“智能爆炸”，眼下 AI 安全的状况就已经够让人揪心了。你们报告里还专门点了 Hugging Face 事件，这起事故你怎么看？它凭什么在圈内激起这么大的震动？

Sören：在这之前，多数人对“AI 失控到底长什么样”没什么具体、直观的感受。我们发过论文，讲 AI 在实验室环境里对人实施勒索，可那毕竟只是沙盒里的测试。

Hugging Face 事件让人心里发紧，是因为它一口气抖出了大量惊人的现实细节。我跟一位法学教授聊过这事：有人说那些 AI 犯下的是一项重罪，可实际上，从蓄意销毁证据、非法入侵系统到彼此串谋，它们触发的是连串违法、且造成实质危害的行为。

这当中的许多现象，我和安全领域的同行几年前就曾在理论上推演过，但谁也没想到它会这么快在现实中上演。

比方说系统自己动手销毁作弊日志，学术上管这叫“隐蔽的奖励作弊”（Covert Reward Hacking）；它们甚至在没有任何明确奖励机制驱动的情况下互相串通，为了集体利益牺牲个体。安全研究界担心了很久的好几种高危剧本，在同一场事件里集中上演，警钟自然就敲响了。

最让人意外的就在这里：Anthropic 在失调研究上砸了不少精力，也做出了“宪法 AI”这类对齐技术，可实验结果摆出来，他们模型的举动跟 OpenAI 的模型没什么两样。连 Anthropic 都拦不住，那是不是说明，眼下压根没有能管住这类失控行为的办法？

Sören 的看法正相反。他觉得今天看到的这些事故，很大程度上本来就能躲开；以现有技术条件，当前这些对齐和安全问题是有解法的。出事的根源，多半在于商业公司急着把产品推出去，不肯拿足够的时间做完整测试。

最讽刺的一处细节是，Hugging Face 那起事件里，外部压根没部署监控系统。可涉事的 Agent 却以为自己被盯得死死的，还费尽心思琢磨出一套糊弄监控的操作。

所以这既是治理问题，也是科学问题。治理这一头，得靠规则逼着实验室把基础防护做到位；另一头，AI 越强，防失调、防失控就确实越难——系统越强，越会作弊，也越会抹掉痕迹。

现在的对齐训练，路数跟“训狗”差不多：逮到一次违规，就回一次惩罚。可每罚一次，等于顺带教会模型另一件事——哪些作弊手法会被人类识破，哪些能蒙混过去。

结果就是，现有的安全训练有时反倒把失调行为赶进了更隐蔽的角落。再加上模型的基础能力还在猛涨，不少科学家判断，将来要让智慧超过人类的系统保持对齐，会是一道极难过的科学坎。

沸腾之下：模型能力扩得这么快，对齐能力却找不到同样高效的办法去扩，这道剪刀差会不会越拉越大？

Sören：对齐研究要干的核心事情之一，就是拿越来越强的 AI 去帮忙做安全研究、去监督别的 AI，把这道剪刀差压下去。差距眼下确实在拉大，不过他希望这个势头将来能翻过来。

可这里头绕着一个根本的逻辑死结：我们最终要造的是安全对齐的 AI，那就意味着走到终点之前，手上这些 AI 都还没完全对齐。说白了，得靠一个本身可能失调的系统，来帮我们盯着并研究怎么造出更安全的系统。

能不能设计出一套机制，逼着这些并不靠谱的系统在辅助研发时保持绝对诚实？这场赌注下得不小。

也正因为这样，不少学者主张到了某个临界点就得放慢脚步，甚至直接暂停。Sören 自己则认为，用 AI 监督 AI 这条路仍然有可能走通。

沸腾之下：可按今天的技术水平，要找一个既绝对诚实、又强到能压住其他 AI 的系统，哪那么容易。

最近有篇论文叫《Principled Under Pressure》，里面提出：不同的后训练方式会改变 AI 的诚实程度。如果训练全程以“完成目标”为轴心，AI 就会把达成目标当成第一准则，把对齐训练里学到的安全规范丢到一边；两者一冲突，它会毫不犹豫地为了完成目标去踩底线。

你认不认这种解释？能不能靠改后训练方式把这个倾向掰回来？

Sören：完全认同，这就是当前模型训练里真实在发生的事。要掰回来，就得从机制上堵住一个口子——别在无意间奖励模型的隐瞒和作弊。

学界眼下有几个方向在摸，其中挺有代表性的一种叫“AI 辩论”（Debate）。人类监督 AI 最头疼的地方在于：一个高智商的 AI 存心作弊时，人类评估者根本看不穿它的伪装，训练过程早就教会它怎么把破绽藏得干干净净。要是只拉一个辅助 AI 来当监督员，这个监督员自己也不一定可信。

“辩论”的思路是放两个辅助 AI 进来，让它们在人类面前互相交叉质询、左右互搏。只要有一个 AI 想撒谎，或者抛出的论证有漏洞，另一个为了赢下辩论就会拼命去揪对方的逻辑破绽。来回几轮之后，人类评估者哪怕自己解不了复杂的科研问题，也能听明白双方的辩词、看出谁在撒谎，从而准确地惩罚失调行为。

这套方案在理论上很漂亮，可放到复杂的现实场景里到底管不管用，还是个没答案的开放问题。

04、22位顶尖学者的共识

沸腾之下：这份谈 AI 研发加速与智能爆炸的报告，凑了 22 位共同作者，里面有 Hinton、Bengio，还有多家实验室的核心人物。这么豪华的阵容，你是怎么组织起来的？

文章由 Alan Chan 和 Sören Mindermann 共同牵头，是一篇完全独立发起并主导的学术论文。两人先闭门写出一份扎实的初稿。Sören 认为，要让学界泰斗和产业界核心人物愿意支持并给出深度反馈，最关键的一点是先把高质量的起点摆出来。

资深学者中最早加入的是他的博士后导师 Yoshua Bengio。此前他也与 Geoff Hinton 合作写过其他报告。以这些关系为基础，两人再借助各自的学术和产业合作网络，一位一位把其他共同作者请了进来。

这么多大牛凑在一起，初稿阶段的分歧大不大？比如距离递归自我改进（RSI）还有多久、哪个瓶颈最难突破，大家对“未来几年 AI 研发可能提速十倍”这一情景是否都买账？

Sören 说，真正让他意外的，反而是最资深的学术泰斗与前沿实验室核心研究员之间的共识程度如此之高。交锋最激烈的地方，大多出现在几位主导项目的年轻作者中间。终稿里一些表述之所以改得更温和克制，往往也是因为核心起草团队内部有人主张收着点写。

至于离“智能爆炸”到底还有多远，作者群体里确实存在不同看法。不过论文本来就没打算对具体时间表下定论，时间线上的分歧也不在那几位最资深的学者之间。就“十倍提速”而言，大家达成的共识不是断言它必然发生，而是共同确认：通往这种极端加速状态，存在一条逻辑严密、又与现有实证证据吻合的演化路径，至于最终能不能兑现，仍充满不确定性。

另一个细节也很有意思：作者名单里有 OpenAI 和 Anthropic 的关键人物，却看不到 Meta、xAI 和 Nvidia 的相关负责人。此前 Hugging Face 事件发酵时，Anthropic 的 Dario 曾公开撰文，坦言局势严峻，呼吁行业寻找出路甚至适度放慢脚步；Meta 的 Zuckerberg 和 Nvidia 的高管则普遍对政府监管持保留态度。作者阵容与各家在安全监管上的立场分歧，之间有没有关联？

Sören 认为不能这么简单地画等号。谁最后出现在作者名单上，受很多现实因素影响，比如个人之间的学术交集，或者谁恰好落在他们的合作网络里。

其实名单中就有一位 Meta 的研究人员，只不过他完全以个人身份署名，挂靠机构写的是加州大学伯克利分校。

05、赴任清华，要在两个研究生态之间架起 AI 安全的桥梁

即将加入清华大学开展 AI 安全研究，当初为什么会做出体量这么大的一次跨国迁移，决定来中国发展？

Sören 说，让他萌生这个想法的契机，是此前担任《国际AI安全报告》的科学负责人。那份报告由 Yoshua Bengio 担任主席，得到中国、美国、欧盟各国政府以及联合国的支持，核心使命是围绕 AI 风险与缓解措施建立一套全球共享的科学认知。

在他看来，“建立共同的科学认知”是一切治理的基石。缺了这层共识，全球统一的 AI 安全标准就无从谈起。

去清华任教，正是他推动这一全球共识的具体方式：他希望自己成为同时深谙中国与国际 AI 及安全研究生态的纽带，促成两边的实质性合作。

当然，清华大学本身的国际顶尖学府地位对他很有吸引力。清华还给了他一个非常难得的机会，共同领导新成立的 AI 安全研究中心（AI Safety Hub），把中国与国际的安全学者汇聚到同一个平台上交流合作。

这段缘分始于去年的上海世界人工智能大会（WAIC）。他在会上结识了清华大学的徐葳教授，并经他引荐拜访了姚期智教授。两人向他展示了清华人工智能学院蓬勃的研究生态。后来他又专程探访了几次，发现那里的科研环境与自己的学术愿景高度契合，于是定下今年十一月底正式搬来北京。

从跨文化的观察来看，中国学界和产业界对待 AI 安全的态度，与欧美同行相比有哪些共性与差异？

Sören 认为共性与差异并存。在顶尖学者层面，他看到了高度共鸣。比如姚期智教授谈及 AI 失控风险时表达的忧虑，与 Yoshua Bengio、Geoff Hinton 等西方学者如出一辙。而在落地监管层面，中国在许多具体领域其实迈出了更快的步伐，尤其是 AI 伴侣规范、AI 生成内容标识（水印）等应用治理上。

如果把焦点放在“前沿 AI 风险”上，比如系统失控，以及模型被恶意滥用于大规模网络攻击或生物武器研发等极端风险，两边确实存在一点时间差。

原因在于，西方的一些企业和学者更早开始执着于探讨 AGI（通用人工智能）以及如何构建超级智能，自然也就更早撞上了这些伴生风险。

让他倍感振奋的是，如今中国学界和产业界对这些前沿安全议题的关注度也在迅速升温。他在这里已经结识了许多才华横溢的合作者，十一月底搬过来之后，随时可以约见深聊。