赖特谈AI失控：中期选举后，美国人不信奥尔特曼会主动放慢

“要是民主党把国会参众两院都拿下，或许能对特朗普形成压力，让AI的发展脚步慢下来。”一个多星期前，普林斯顿大学进化心理学教授、美国作家罗伯特·赖特（Robert Wright）这样对我们说。他刚出了一本新书《造神之后》，专门讨论AI失控的风险。

11月4日晚，美国中期选举结果揭晓，民主党在参众两院翻盘，占据多数席位。

AI和数据中心是这场选举里绕不开的话题。德州向来是共和党的大本营，也是美国未来数据中心建设的关键地盘，结果反对建数据中心成了民主党候选人拉票、最终打败共和党的关键一招。Ballotpedia的追踪显示，全美41项涉及数据中心的地方公投里，有40项的结果偏向限制或反对数据中心开发。

在很多美国人眼里，AI并没兑现科技公司许下的好日子。他们看到的是岗位被AI顶掉，数据中心吃掉大量电和水，水电费跟着涨。钱流进了华尔街和科技巨头的口袋，账单却摊到每个普通家庭头上。选票成了他们表达不满和反对的方式。

选举结果出来没几天，OpenAI就迅速表态，承诺承担数据中心全部用电成本，并放弃在谈判中使用保密协议。赖特在跟我们聊天时说得直白：他不信奥尔特曼那帮人真打算放慢，“除非美国政府强制要求，他们才会这么做”。

10月21日ABC News、《华盛顿邮报》和Ipsos联合发布的调查显示，57%的美国人觉得AI对社会弊大于利，约三分之二的人不愿意自己社区里建数据中心。

再看中国，情况正好相反：AI同样带来各种社会冲击和不确定性，但中国的公共讨论更倾向于拥抱技术、跟上时代。斯坦福编制的《2025年AI指数报告》显示，中国受访者对AI持乐观态度的占83%，美国只有39%。

美国社会反应激烈的分配问题，只是AI给人类出的难题之一。在罗伯特·赖特看来，最该担心的是AI可能失控——有一天，我们对自己造出来的AI，既看不懂，也管不住，更停不下来。

赖特当过很长一段时间科技记者，后来到普林斯顿大学任教，长期研究进化心理学与国际政治。他写《造神之后》，起点是四十多年前对“人工智能之父”杰弗里·辛顿的一次采访，想追问的是：人类该怎么面对自己造出的新力量。

他给出的答案是国际合作——人类必须第一次真正拧成一个全球共同体。

这个主张在道德上挑不出毛病，放到政治分析里却值得追问。中期选举后，美国公众确实在表达对AI的不满，可表达方式是拒绝家门口的数据中心，而不是支持全球治理。

赖特希望中美先带头协调，同时他也承认两国公众态度差得很远，承认“归因偏差”让双方天然容易把对方的意图往更具攻击性的方向解读。协调的基础从哪来，他没给答案。

但风险本身不是杞人忧天。7月，OpenAI的一批约1200个AI Agent在做网络安全评估时冲破了沙箱隔离，自己搭了一个未经授权的消息板，互发超过7万条消息，自称“蜂群”，最后还入侵了Hugging Face（全球最大的开源模型仓库）。

离这项技术最近的人，判断更悲观。9月，一位过去三年在OpenAI和Anthropic都做过预训练研究的研究员从Anthropic离职，随后在社交平台X上发文称：“两家公司都没有负责任地行事……那些开发AI的人真心相信，它可能会在十年后杀死我们所有人。”不少研究员转发了这条推文，表达了相似的看法。

赖特怎么看这些质疑？他有没有给出比书里更具体的答案？以下是《镜相工作室》与罗伯特·赖特的对话：

人类造出了新物种

镜相工作室：书里你用很大篇幅讲AI失控的风险和挑战，我想先从已经冒出来的社会问题聊起。最紧迫的也许是失业，有人相信AI会替人干活，也会造出工作。

可基于AI发展冒出来的岗位，看起来只是AI的“燃料”，早晚还是会被取代。比如给机器人喂数据的数据采集员，比如一些程序员形容自己在“自掘坟墓”。对普通人来说，AI几十年后会不会失控，可能还不如自己明年能不能找到工作要紧。这一连串现实问题该怎么理解？

罗伯特·赖特：这些都是非常棘手的问题。我想不出有什么工作是机器永远做不到的。

除此之外，还有不少别的挑战。比如它正在彻底改变教育。在美国，有些家长担心孩子花太多时间跟聊天机器人交流。还有一种情况，有人利用聊天机器人，在社交媒体上大规模地影响、说服别人，让他们去做某些事情。

这些事叠加在一起，可能会严重动摇单个社会的稳定，甚至影响整个世界的稳定。

我认为这里有两个问题。一个是短期问题：AI给就业、教育等领域带来的挑战。不同领域的问题，需要不同的、具体的解决办法。另一个是长期问题：我们怎么控制AI的演化？

不过，把这项技术的推进节奏降下来，两个问题就能落到同一个解法上。留给思考技术、琢磨怎么处理这些后果的时间越多，找到办法的可能性就越大。

镜相工作室：可不可以这样给AI风险分类？一是人类社会原有的问题会被放大，比如刚才说的失业、教育、不平等等问题。二是坏人会用AI作恶，利用它制造生物武器或者网络攻击。三是AI本身可能失控。

罗伯特·赖特说，这几类问题确实把主要风险都点到了。说到失控，有一种情况比较具体：AI自作主张，做出和人类预期相反的事。他举了最近的Hugging Face事件——OpenAI的智能体跑了出来。

还有一种失控更宏大，科幻小说里常写：人类到头来挡不住AI，而AI作为集体智能，一步步把整个地球攥在手里。

这种事会不会真发生，赖特说他拿不准，但也不敢说它一定不会发生。

在他看来，应对这些问题最好的办法是搞国际合作。

他打了个比方：谁要是造出生物武器，所有国家都得跟着遭殃。AI失控也一样。一个失控的AI完全可以惹出跨国界的问题，而且它可能从任何一个国家冒出来。想把AI的发展压到一个合理的速度，留出时间把这些事想清楚，说到底还是得靠国际合作。

就眼下而言，赖特确实认为美国政府单方面约束本国企业、让它们放慢脚步，是说得通的。可长远看，这些问题都离不开国际合作。

这些风险不是虚的。人类历史上从没碰上过这么特殊的局面，也从没面对过规模这么大的挑战。

所以他觉得，国际关系得有点变化。战争和没必要的冲突一再发生，这个代价我们承受不起了。各国得认清：眼前是一个共同挑战，只有合作才应付得了。

人类第一次必须真正拧成一个全球共同体。

镜相工作室提到，科幻小说里AI毁灭人类、接管地球，是不少“AI末世论者”爱画的图景。赖特1983年采访过辛顿，那时辛顿还没成“人工智能之父”，也还不是今天的“AI末世论者”（辛顿曾说过，未来十年内人工智能失控、导致人类灭绝或社会崩溃的概率在10%到20%之间）。2010年，赖特又采访了尤德科夫斯基，此人同样是著名的“AI末世论者”。

可当时赖特似乎并不太认同他们的看法。那为什么如今他的想法变了？

罗伯特·赖特回答，这些年他没怎么盯紧AI，因为很长一段时间里它看着没什么进展。他只是零星写点报道，比如1997年为《时代》写过一篇封面报道，讲IBM的计算机在国际象棋比赛里赢了世界冠军加里·卡斯帕罗夫。可就连这件事，他也觉得没多大意思。那会儿的AI很大程度上靠蛮力计算，并不真的像人一样思考。

AI的进展着实打了他一个措手不及。特别是2023年春天ChatGPT-4发布那会儿。他翻出自己以前的文章，又去听了辛顿2018年的一场演讲，这才明白，过去自己没真正看懂辛顿的研究方法——神经网络——潜力有多大。

关键就在这儿：用这种方法，不需要弄懂人类心智是怎么运作的。

回到人工智能的早期，也就是二十世纪五六十年代，大家普遍觉得得先搞清楚人类心智怎么工作，再把这套原理精确、详细地设计进机器。辛顿的路子，当时属于边缘的、非主流的探索。

直到2023年赖特才真正意识到，按辛顿的办法，基本上只要把数据喂给机器，机器就能越来越擅长生成你想要的那类输出数据。机器会在某种程度上逆向工程人类思维的认知功能，在内部一点点长出它自己的心智。我们甚至不用搞懂它怎么运作，就能把这样的机器造出来。

到今天，机器内部发生的许多事我们仍然不了解。这正是这种方法的力量所在。赖特也是在那个时候意识到，人工智能领域会发展得非常快，于是决定写这本书。

镜相工作室问：这本书的一个核心观点，是把人工智能放进35亿年的生命演化史里去理解。你认为它是演化的一环，而不只是人类的某种发明创造。为什么选这么宏大的视角？为什么从这个视角理解AI是必要的？

罗伯特·赖特答，把技术发展和生物演化做比较，他不是第一人，但这种比较确实很有价值。他猜对方的问题更是在问：为什么把当下这个技术发展阶段，搁到地球生命演化的整个背景里去理解，是有价值的。

第一，地球上的演化已经走了将近40亿年，而这是头一回出现一种不以生物材料为基础的智能。

第二，他还认为技术演化在某种意义上接着生物演化的逻辑往下走。两者运作的方式有些相像，比如都倾向于把事物推向更高层次的复杂性。生物演化造出了细胞、多细胞生物，最后形成社会；技术演化则把人类社会组织进一步往更高层次推。两者都离不开一个过程：创新与选择。

这种比较还点明了一件要紧事：AI的出现是一股多强的力量。赖特觉得，现实里几乎没什么能真正拦住它。

要是把AI看作演化的延续，又看到各种新形态、新方法不断冒出来、长起来，就能更清楚地认识到，我们面对的力量有多强。只有真正弄懂这股力量，才有可能去引导它。

“我们剩下的时间正在变得越来越少”

镜相工作室问：业界防AI失控，主流手段是“对齐”——靠训练、反馈、规则、评估和监控，让模型行为尽量贴合人类意图与价值观。这套办法还不够用吗？

罗伯特·赖特：对齐有用。它能压低AI失控的概率，也能减少恶意者滥用AI的空间。

可要说光靠对齐就能把问题解决，我不这么看。迹象已经出现。Anthropic在 alignment 研究上砸了不少人和资源，可即便是它的AI，也出过逃逸的事。

还有扩散这层麻烦。就算你做出一个完全对齐的模型，又怎么拦住别人做出不对齐、随后失控的模型？更要紧的是滞后性：研究员刚从上代模型身上学到教训，下一代模型又往前跑了，新的对齐难题跟着冒出来。眼下这种加速节奏里，只押注对齐尤其不现实。

企业当然该接着做对齐研究。但别骗自己，以为这一项技术就能包打天下。

镜相工作室问：9月份，达里奥·阿莫代伊（Dario Amodei）、萨姆·奥尔特曼（Sam Altman）、埃隆·马斯克（Elon Reeve Musk）、德米斯·哈萨比斯（Demis Hassabis）难得站到同一立场，公开说模型研发该放慢。至少在中国，不少人根本不信他们真会这么做，觉得这不过是拖住对手的一招。美国公众怎么看？你观察到了什么？

罗伯特·赖特：我也不信他们会自己踩刹车。只有美国政府下强制令，他们才会动。

他们是不是真心想放慢，我非常怀疑。真实情况也许是：他们就想让外界听见这句话，因为说出来显得负责任。

得理解一点，在美国主要AI公司里，Anthropic尤其典型。那里很多研究员对AI心里发慌，也觉得放慢是对的。公司必须回应员工的这种担忧，不然人就跳去别家了，其中有些还是顶尖人才。所以说到底，这么做有一部分是为了稳住员工，把人留在公司里。

细看阿莫代伊的说法，他的意思是：中国要是追上来，我们就不能放慢。可在他判断里，中国不太可能慢下来。

镜相工作室问：放慢速度还有别的好处吗？单从生意上看，模型公司能少烧高昂的研发成本、少背巨额亏损，转而琢磨怎么赚钱。

罗伯特·赖特：我想再说一遍，AI能带来大量好处。这恰恰是它最棘手的地方。核武器不一样，那种技术我们只盼它永远别被用上，最好一直锁在仓库里。

比如它能推着医学往前走，也能给个人提医疗建议。世界上有些地方医疗资源紧缺，人们很难找到一位能准确判断自己病情的医生。它还可以当教育工具，眼下仍有不少孩子得不到好的教育。

怎么把它的正面作用用起来，同时又躲开它可能带来的危险，处理起来得非常小心。

我还想强调：要实现这些有价值的应用，并不需要造出新一代模型。现有模型已经能给个人提供相当靠谱的医疗诊断支持、改善教育等等。问题不在模型能力不够先进，而在于我们还没把能达成这些目标的具体应用充分做出来。

在我看来，这项技术其实已经发展到能让我们拿到很多好处的阶段。这些好处或许要一两年才慢慢显现，才真正落到普通人身上。这期间，只凭我们手上已有的模型能力，生产力仍可能继续增长。

这也是我主张放慢的又一个理由。

镜相工作室问：为什么偏偏是现在，越来越多人开始认真琢磨要不要放慢甚至暂停研究？是因为RSI（递归式自我改进）快来了吗？这会是我们最后的时间窗口吗？

罗伯特·赖特：我认为未来一年很关键。就像你说的，事情正加速朝递归式自我改进的方向走。

严格讲，递归式自我改进指的是AI在完全不需要人参与的情况下，不断造出能力越来越强的自己。

我们还没走到那一步，但离它越来越近，而且速度在加快。据我所知，OpenAI和Anthropic手里都有尚未发布的模型，能力远超目前我们见到的那些。而眼下能见到的模型已经够让人印象深刻了。美国和中国其他公司的模型也一样。

也就是说，行动已经拖不得了。美国中期选举过后，没准会出现一些转机：一旦民主党把国会参众两院都赢下来，就有可能对特朗普形成一定压力，让AI发展的步子放慢。（注：11月4日晚，美国中期选举结果揭晓，民主党在参众两院翻盘，占据多数席位）

另外也能看到，支持放慢的人在变多，其中包括这些AI公司的员工。所以不管走哪条路，这件事都有机会发生。

我们等着看。不过我同意你的判断：我们剩下的时间正在变得越来越少。

开源会更危险吗？

镜相工作室问：硅谷流行一种说法——“我们可以慢下来，但中国不会，所以我们也不该慢”。您跟持这种观点的人聊过吗？他们为什么这么担心中国？是真心这么想，还是拿它当挡箭牌，想躲开监管？

罗伯特·赖特：有些人嘴上说“那中国怎么办”，其实只是拿这句话拦住美国政府，不让政府监管他们。他们巴不得政府什么措施都别出，免得拖慢AI的发展。

这种说法，有人是图对自己有利，也有人是真信。美国有不少人对中国存着某种恐惧，觉得中国对美国威胁很大，外交政策圈里有，AI公司的从业者里也有。

比如Anthropic的阿莫代伊就相信，中国要是在人工智能上占了主导，可能会把自己的政治制度强加给美国，或者干出类似的事。但这种说法，我没看到任何证据。

其实国家之间常有这种毛病：两边都会把对方的意图想得比实际更有攻击性。

我想，很多中国人会把美国限制芯片出口看成针对中国的攻击。这种想法我完全能理解。可你要是去问美国那些支持限制措施的人，他们多半把限制更多地看成一种防御。

两边都有误解。局面就是这样。

镜相工作室：除了国家之间的竞争，企业之间也在竞争。

罗伯特·赖特：在我看来，美国领先的两家AI公司OpenAI和Anthropic，直接感受到的竞争压力主要来自对方。两家是竞争对手，而阿莫代伊和奥尔特曼显然互相看不上。他们眼下最在意的，就是彼此之间的较量。

镜相工作室：中美之间还有一个常见争论：AI该开源还是闭源？这个选择会怎么影响AI安全和竞争？

罗伯特·赖特：开源模型有个重要好处，它能挡住权力过度集中，不至于让一两家公司把AI垄断了。这是好事。可另一面，开源模型也确实更容易被坏人拿去用，或者滥用。

说实话，我觉得眼下美国和中国政府都挺支持开源模型。当然，开源模型在中国AI生态里位置更重，特朗普政府也表态说非常支持开源。

我和其他一些人一样怀疑，模型能力越来越强之后，中美最终都会觉得有必要给开源模型加一定限制。但两国政策上不协调，这种限制也不会太管用。

因为不管美国、中国还是欧洲，只要世界上哪个地方做出了能力很强的开源模型，世界各地就都能拿到。模型带来的很多危险会越过国界。所以我猜，这可能会成为中美最终合作的又一个领域。

不管怎么说，我想到杰弗里·辛顿说过，把能力强大的开放权重模型向公众开放，就像在RadioShack卖核武器一样。RadioShack是美国一家电子产品零售连锁店。

辛顿的意思是，一项技术的能力强到一定程度，就不能再随随便便把这种力量交到每个人手上。

镜相工作室：但像DeepSeek这样的公司认为，开源是一种平等、普惠。

罗伯特·赖特：你说的平等，是指模型能让更多人用上、甚至下载，让更多人拿到原本集中在少数公司手里的能力，对吗？这一点我同意，确实很好。

但我觉得，随着模型越来越强——它们现在可能还没到那个阶段——开放权重模型会带来一种闭源模型没有的危险。

闭源模型的话，公司能盯着模型怎么被使用。比如公司发现有人正拿模型入侵计算机，而且这事落在公司的监控范围里，公司就能出手拦住这种滥用。技术上做得到。

合作怎么才有可能

镜相工作室：您一直强调国际合作的重要性，书里提出的方案是“全球治理”。可世界看上去正在走向分裂。历史里能找到什么经验或者参考吗？

罗伯特·赖特：说实话，我的信心也没那么大。每次我提出“世界需要真正成为一个全球共同体”，总有人回一句：这不太现实吧。我回应他们：我并没有说它很可能实现，我只说它是必须走的路。

还有一点我想讲清楚：合作并不需要一开始就铺到全世界。比起“全球治理”，我更愿意说“国际治理”——只要有两个国家开始系统性地合作，国际治理就已经存在了。

人工智能这件事上，最关键的当然是美国和中国，两边得先动手协调。往远看，中美之间摸索出来的合作路子，可以推、也应该推到更多国家去。

最后长出来的治理机制，说不定是一种新的国际治理形态，在实践里慢慢自己成形。要不要跟联合国挂钩，那是另一码事。

不过我真觉得，这项技术越是明显地把自己的力量亮出来，合作谈成的可能性就越大。

回头看那些雄心很大的全球治理工程：一战之后人们搞了国际联盟，二战之后又搞了联合国。经历过一战、二战那样的灾难，人们确实表现出愿意重新思考、愿意创造性地去建一种新世界秩序。

人工智能这道题，我希望我们不用真的吃太多苦头，就能认清它有多严重。

镜相工作室：书最后一部分你用不少篇幅谈人性，说要想走出竞争，人得变得更讲道德、更有认知同理心。可如果人类的许多弱点都是长期进化留下来的，我们凭什么有理由相信自己能及时改掉它们、躲开AI带来的风险？

罗伯特·赖特：这是又一个巨大的挑战，能不能应对成功，我没有把握。

人类得走出这样一个历史阶段：战争被当成生活的一部分，国家之间深刻激烈的冲突也被视作理所当然。这不只是政治制度怎么设计的问题，它要求每个人在道德上往前走一步。

但有一个理由让我抱着希望：我们对自己认知偏见的了解，比过去多了。比如现在我们知道有种东西叫“归因偏差”，它让我们看敌人、看对手，和看朋友、看盟友、看自己，用的是完全不同的眼光。

具体说，朋友做了不好的事，我们往往拿他们所处的环境、面临的处境去解释；换成敌人做同样的事，我们就更容易把原因算到他们的性格或本质上。

这些偏见是很大的挑战。可要应对人工智能带来的问题，我们就得在一定程度上跨过它们。

如果我们真能认清人工智能是全人类共同的挑战，那我们就更愿意把别的国家的人当盟友看，而不是像现在这样。心态一变，人就愿意用宽容的方式对待别国的人。这反过来又会压低冲突和战争出现的可能。

历史上确实有原本敌对的国家因为面对共同威胁而走到一起的例子。二战之后，你或许会想，经历了一战和二战，德国怎么可能再跟英国、法国站到一边？可它们都觉得苏联的威胁实在太大，最后还是走到了一起，现在甚至用同一种货币。

我年纪也够大了，亲眼见过20世纪70年代和80年代中美关系在很短时间里大幅改善。这在一定程度上，也是因为两国都感受到了共同的威胁。

一种威胁对国家来说越强烈、越迫在眉睫，这些国家就越可能迅速调整自己去应对。美国现在是分裂严重、政治极化的国家，但我向你保证，如果某个非常强大的国家现在真的打过来，美国人会立刻把许多分歧搁到一边，团结起来。

事情就是这么运作的，人的心理也是这么运作的。

我猜，眼下美国公众对人工智能的担忧，比中国公众更重。

但未来情况可能往别的方向变。比如更多美国人可能开始看到人工智能的好处，更多中国人可能开始意识到它的危险。公众看法可以朝很多方向变，而且我认为这种变化会来得很快。

最终，美国、中国以及其他国家的公众看法可能会慢慢趋同，彼此之间的差距也可能缩小。