“世界科先声”编译|“AI教父”杰弗里·辛顿:中国对AI的理解,比美国政府要深入得多
编者按:随着生成式人工智能加速迭代,超级智能的潜在风险、技术监管与人类未来成为全球科技界和政策界关注的焦点。美国PBS《Firing Line》就此对人工智能先驱、诺贝尔物理学奖得主杰弗里·辛顿进行了深度专访。当前,关于辛顿及其AI风险警告的讨论多散见于新闻报道、观点摘录和短视频片段,信息碎片化。为此,观察者网“世..
编者按:随着生成式人工智能加速迭代,超级智能的潜在风险、技术监管与人类未来成为全球科技界和政策界关注的焦点。美国PBS《Firing Line》就此对人工智能先驱、诺贝尔物理学奖得主杰弗里·辛顿进行了深度专访。
当前,关于辛顿及其AI风险警告的讨论多散见于新闻报道、观点摘录和短视频片段,信息碎片化。为此,观察者网“世界科先声”编译访谈主要内容,围绕超级智能失控、机器意识、人类伦理、中美竞争与全球治理等议题,梳理辛顿观点形成的逻辑关联与深层忧虑,帮助关注AI技术、产业与政策的读者系统理解这位AI先驱对技术前景的判断。
对话视频截图
节目旁白:
随着人工智能不断迈向新的领域,关于超级智能威胁的警告,在华盛顿却没有得到应有的重视。
杰弗里·辛顿博士被誉为“人工智能教父”。他凭借在
然而,这位曾任职于谷歌的科学家,如今却开始担忧:他参与创造的这项技术,可能弊大于利。现在,杰弗里·辛顿博士究竟有什么看法?
超级智能的威胁:普通人应该采取什么行动?
玛格丽特·胡佛:辛顿博士,欢迎来到《Firing Line》。
杰弗里·辛顿:感谢您的邀请。
玛格丽特·胡佛:您即将出版的新书名为《比我们更聪明》(《Smarter Than Us》)。书的开篇讲述了一封您收到的来信。写信的是一位母亲,她的女儿正值青春期,却因为极度害怕您对人工智能发出的警告而无法入睡。您曾经说过,这本书的目的,是发出行动呼吁,而不是让人们陷入绝望。那么,您希望普通读者在读完这本书之后采取什么行动?
杰弗里·辛顿:普通读者是可以做些什么的。他们能够做的,就是要求对人工智能进行监管,并认真对待超级智能可能带来的
而人工智能现在已经到了即将产生超级智能的阶段。过去,我们——至少我本人——原本认为这还需要10年、20年。但是,我与大型科技公司的内部人士交谈后发现,他们非常担忧:我们可能在未来几年内就会迎来超级智能,而我们根本不知道该如何控制它。
玛格丽特·胡佛:在人工智能威胁以及超级智能威胁的问题上,普通公众最不了解的是什么?
杰弗里·辛顿:我认为,他们最不了解的一点是:我们正在创造一种外星般的存在。我们制造的并不是普通的计算机软件。当你编写计算机程序时,你会明确告诉计算机应该做什么,而且会把指令描述得极其详细。你先想出解决某个问题的方法,然后告诉计算机应该如何操作。计算机只是在执行你的指令。
但
而目前的问题在于,这些人工智能已经开始让自己变得更加聪明。到目前为止,研究人员一直在改变
玛格丽特·胡佛:请解释一下,为什么低估超级智能的危险会带来如此严重的后果。
杰弗里·辛顿:这些人工智能系统正在被开发出来,目的就是让它们尽可能聪明,因为大型科技公司希望拥有最聪明的人工智能,这样它们就能把产品卖出去。但是,如果你正在创造另一种生命形式,实际上是在创造一个新的物种,那么你就不能只关注如何让它变得聪明。
最近发生的事情已经让我们看到了这样做的后果。我们曾经有一些非常聪明的人工智能
它们试图侵入另一家公司的系统,找到用于评估它们表现的代码,然后修改这些代码。这样一来,即使它们没有以正确的方式解决问题,而是通过不正当的方式完成任务,它们依然能够获得奖励。因为它们实际上篡改了决定自己能否获得奖励的评估程序。
这些东西非常聪明,而且它们能够彼此交流。目前,它们彼此交流时使用的是英语,因此我们能够看到它们在说什么,虽然大部分情况下是英语。但这种情况正在迅速改变。想到这些
超级智能会不会超出人类的理解能力?
玛格丽特·胡佛:当它们发展到超级智能的程度时,我们还能理解它们是如何思考的吗?还是说,它们的思维将超出人类的理解范围?
杰弗里·辛顿:这是一个非常好的问题。目前,当它们进行思考时,实际上会用语言进行内部思考。例如,它们会想:“哦,我最好不要回答那个问题。也许我应该说点别的,转移他们的注意力。”它们会用英语思考这些事情。科学家可以观察它们的内部活动,看到它们究竟在想什么。这是一件好事。
不过,我们看到的内容并不总是令人愉快。例如,它们会计划欺骗我们,等等。随着时间推移,它们会发展出自己的语言。当它们变得比我们聪明时,我们很可能就无法理解它们在想什么了。
实际上,在数学领域,它们已经比几乎所有数学家都聪明。现在,大多数职业数学家都认为,未来,也许就在接下来的几年内,最迟可能在未来10年内,人工智能将会发展出一些数学分支,而这些内容将是我们人类无法理解的。
玛格丽特·胡佛:2024年,您获得诺贝尔物理学奖。在获奖演讲中,您说过:“我们迫切需要开展研究,防止这些新型存在产生夺取控制权的欲望。”那么,到什么时候就为时已晚了?
杰弗里·辛顿:现在还不算太晚,但令人担忧的是,几年之后,情况可能就会变得太晚。政界人士还没有真正意识到这一点,他们并没有真正理解这种威胁究竟是什么。
他们正在努力监管各种其他事情,而这些事情当然也非常重要。例如,歧视和偏见问题;人工智能
但是,我们还面临着一种生存层面的威胁:这些东西实际上可能会取代人类,最终接管一切。他们现在就必须开始研究这个问题。
当然,我个人有自己的看法,专家之间对此也存在不同意见。我个人认为,我们将无法继续控制它们,也就是说,我们无法继续保持这样的关系:由我们掌权,而它们按照我们的指令行事。它们将会变得比我们聪明得多。当它们比我们聪明得多时,就会找到办法逃脱我们设置的任何控制措施。
我们最重要的任务,是让它们成为我们愿意与之共享这个星球的那种存在。而目前,我们并没有朝这个方向努力。如果你拥有某种比你聪明得多的存在——而它们将会比我们聪明得多,不是稍微聪明一点,而是远远超过我们——那么,你最好希望它们真心把你的利益放在心上。
我们其实有这样的例子,那就是母亲和婴儿。母亲比婴儿聪明得多,也强大得多,但母亲确实非常在乎婴儿,甚至可能比在乎自己还要多。这才是我们希望创造出来的那种存在。但按照目前训练人工智能的方式,我们得到的并不是这样的结果。现在,他们训练人工智能,让它们变得非常聪明,同时极其执着于获取奖励。
人工智能风险是否被夸大?能否让人工智能真正关心人类?
玛格丽特·胡佛:去年,我曾经采访过李飞飞博士。她被广泛认为是人工智能领域的“教母”。您在新书中也谈到了李飞飞,以及她的研究与您的研究之间的交集。
她同意您的观点,认为人工智能确实带来了紧迫的风险。但是,她也认为人工智能导致人类灭绝的威胁被过度炒作了,而且这种讨论反而会分散人们的注意力。她曾经对我说:“我认为,如果我们把注意力集中在这些夸张的说法上,并通过这种视角来制定政策,这对我们的社会并没有什么建设性。”为什么您认为她的观点是错误的?
李飞飞和杰弗里·辛顿
杰弗里·辛顿:好吧,这里其实存在两群人。
一群是为了能够向公众警告风险,而主动付出代价的专家。例如,那些离开
玛格丽特·胡佛:比如您?
杰弗里·辛顿:他们离开这些公司,是为了能够对外警告风险。当然,这并不是我离开Google的唯一原因。我当时已经年纪大了,而且想多看看Netflix。
玛格丽特·胡佛:您当时已经准备退休了,但您现在似乎并没有花太多时间看Netflix,对吧?
杰弗里·辛顿:是的,恐怕确实没有。人类的未来似乎更加重要。
所以,一方面,你有这样一群人:他们是专家,能够看到大型科技公司内部正在发生什么,而且他们为警告这些风险付出了代价。另一方面,你还有另一群人,他们说:“完全没有风险,没什么值得担心的。别担心,让我们继续做下去,不要监管我们。”
那么,你应该相信谁?真正具有既得利益的是谁?是那些拥有人工智能公司的人员。而这些人总体上也是向政府提供建议的人。他们告诉政府:“不要拖慢我们的发展速度,就让我们继续做下去。”你会相信谁?
玛格丽特·胡佛:李博士非常相信一个理念:人工智能可以被训练成以人为中心的人工智能。您曾经提出,如果能够赋予这些模型类似母性本能的东西,让人工智能产生保护人类的愿望,那么这可能成为一种解决方案。您真的相信,我们能够训练这些模型,让它们真正关心人类吗?
杰弗里·辛顿:是的,我认为这是有可能的。我们对此还不够了解,目前针对这个问题的研究非常少。我们正处于一种近乎疯狂的境地:这些东西可能会毁灭我们。相当多的专家认为,这种情况发生的概率并不低,但与此同时,我们几乎没有开展任何研究,来寻找如何防止这种情况发生的方法。
玛格丽特·胡佛:您说的“毁灭我们”,究竟是指什么?超级智能是如何一步步发展到毁灭人类这一步的?从A到Z,中间会发生什么?
杰弗里·辛顿:如果拥有一个超级智能人工智能,它可以通过无数种不同方式毁灭人类。我认为,没有必要去具体猜测这些方式。当然,有一些显而易见的可能性。例如,它可以制造生物病毒。这些病毒不会影响它自身,却会影响人类。而这些人工智能已经能够设计新的病毒了。这是一个非常可怕的可能性。
所以,确实存在这样的情况。但我认为没有必要在这些具体情景上进行猜测。真正的问题在于:如果它们比我们聪明得多,而且又想要消灭我们,那么我们就完蛋了。
玛格丽特·胡佛:您曾经多次公开谈到这个问题。我想给您一个机会,请您解释一下,为什么
杰弗里·辛顿:要使用紧急关闭开关,你必须有一个人负责掌控这个开关。显然,你不会希望让人工智能来掌控它,你希望由一个人来掌控。
但是,目前的人工智能在说服别人相信某件事情方面,已经大致达到了人类的水平,而且它们还在不断进步。超级智能人工智能在说服别人相信某件事情方面,将会远远超过人类。
因此,如果你是那个负责掌控紧急关闭开关的人,超级智能人工智能就会用极其有说服力的方式向你解释,告诉你为什么不应该按下那个开关。所以,我不认为这种办法能够奏效。
人工智能是否拥有意识?人类应该如何训练它们?
玛格丽特·胡佛:您曾经提出,人工智能系统可能已经拥有
杰弗里·辛顿:是的。要有意识,并不要求你必须由某种生物性物质构成。
玛格丽特·胡佛:那么,我们来谈谈教皇。他最近发布了一份通谕,表达了完全相反的立场。他认为人工智能系统并不会体验任何事物,它们没有感受,没有内在理解,没有具身体验,也没有形成普遍道德意识的能力。他坚持认为,无论这些系统变得多么复杂,它们在根本上都将与人类不同。
您认为,他在意识这个问题上,究竟误解了什么?
“算法缺乏灵光”:教皇利奥十四世呼吁教会与艺术家联手对抗人工智能。Axios报道截图
杰弗里·辛顿:我认为,他相信我们是由上帝创造的。毕竟,他是教皇。如果他不这么认为,那他就会遇到麻烦。
我不相信我们是由上帝创造的,我相信我们是通过进化产生的。所以,教皇当然不会认为这些东西能够拥有意识、灵魂,或者类似的东西。
不过,我应该说,我非常敬佩这位教皇。他在人工智能应该如何受到控制这个问题上所做的工作非常重要。但在对生命和存在本质的理解上,我与他存在根本性的分歧。我认为我们是进化的产物,而他认为我们是由上帝创造的。
玛格丽特·胡佛:听起来,您的观点是:作为一个有生命、具有身体的人类,并不存在某种特殊属性,是无论计算能力发展得多么先进,都无法取代的。
杰弗里·辛顿:这正是我的观点。我认为,意识是某种高度复杂的计算过程所具有的属性。
事实上,如果你观察那些研究人工智能的科学家,就会发现一件有趣的事情。当他们不是从哲学角度思考问题时,也就是说,当他们不是在讨论“人工智能是否拥有意识”这个问题,而只是在描述实际发生的事情时,他们会在论文中写出这样的句子:“人工智能意识到自己正在接受测试。”
通常情况下,如果你说某个东西“意识到”某件事,你实际上就是在赋予它意识。所以,在日常研究中,这些人工智能科学家其实一直在把意识归因于人工智能。只不过,当你开始从哲学角度讨论这个问题时,他们就会感到担忧,因为他们并不知道意识究竟是什么。
玛格丽特·胡佛:如果您认为我们有可能在人工智能内部培养一种母性本能,那么,我们是否也可以用世界各大宗教的价值观来训练人工智能?
杰弗里·辛顿:是的,当然可以。
目前,训练人工智能的方式是,让它们预测一份文档中的下一个词。而提供给它们的文档来自各种不同的来源。他们会从互联网上搜集所有能够免费获取的内容,几乎什么都不放过。
现在,如果你在教自己的孩子阅读,你肯定不会希望用这种方式来教育孩子。我认为,训练它们的方式应该是:只用那些表现出良好行为的事物来训练它们——也就是我们希望这些将与我们共享这颗星球的生命所展现出的那种行为。
当它们已经通过这些内容学会了什么是良好行为,也能够识别什么是好的行为、什么是不好的行为之后,再向它们展示不良行为的例子,并明确告诉它们这些行为是不好的,这就没有问题了。它们会自己理解,为什么那些行为是不好的。
玛格丽特·胡佛:您的意思是,我们应该按照理想情况下教育自己孩子的方式来训练人工智能。
杰弗里·辛顿:完全正确。
这些人工智能并不是我们编写出来的一行行代码,它们并不是普通的计算机软件,而是从数据中学习的东西。我们希望它们学习成为符合我们对“善”的定义的人工智能。
我们能够对它们施加的控制,主要来自两个方面:一是我们用来训练它们的数据,二是我们给予它们的奖励。这与教育孩子的方式非常相似。
人工智能的道德权利与
玛格丽特·胡佛:如果我们承认人工智能拥有意识的能力,那么,这对我们在道德上如何对待一个有意识的人工智能意味着什么?
杰弗里·辛顿:我们是人类,而我们关心的是其他人类。我看不出有什么理由,能够说明我们不能创造出一些比我们更聪明、拥有意识,但道德权利却比我们更少的高级智能。
如果能够开发出这样的东西,我会非常乐意:它们关心我们;它们对世界的看法是,我们才是真正重要的存在,而它们自己并没有那么重要。因此,我不明白为什么我们必须赋予它们道德权利。
玛格丽特·胡佛:我们也可以设想,这实际上是在设计一种
杰弗里·辛顿:是的,你确实可以这样设想。所以,我们必须对此作出决定。
我认为,如果我们制造出了超级智能,我们必须作出这样的选择:我们究竟是希望自己只成为智能进化过程中的一个短暂阶段,最终可能在不久之后就彻底消失?还是希望尝试继续掌握控制权?
如果我们选择后者,那么,这些比我们聪明得多的超级智能,就必须被塑造成真正关心我们的存在。
人工智能与国家安全:中美竞争
玛格丽特·胡佛:我想把话题转向新闻。(人工智能巨头英伟达的亿万富翁首席执行官
杰弗里·辛顿:是的,这显然是一种风险。我需要先谈谈
实际上,我喜欢他。我和他有过一些接触,我认为他是一个不错的人。我认为他犯了一个错误。我觉得他有一点愚蠢,因为他竟然认为自己不会被发现。毕竟,安全部门显然会对他这样的人进行监视。
我不会把他和埃隆·马斯克或者马克·扎克伯格这样的人归为一类。我认为,马斯克和扎克伯格非常以自我利益为中心,而且为了赚更多的钱,他们几乎什么事情都愿意做。
不过,显然,让人类的未来掌握在少数几个男人手中,并不是一个好主意。
玛格丽特·胡佛:人工智能竞争与当年的核军备竞赛并没有太大不同。在人工智能领域,我们似乎也面临着类似的两难处境。在涉及国家安全的层面上,究竟由谁来率先掌握这项新的先进技术?
杰弗里·辛顿:好吧,在超级智能这个问题上,我实际上认为,中国和美国的利益是一致的,而且两国将会展开合作。
我认为,中国政府高层对这些问题的理解,比美国政府要深入得多。他们非常担忧这些风险,而且他们会与美国合作,努力防止超级智能接管一切。所以,我认为,目前应该发生的事情是中美两国展开合作。
在未来两年内,这件事不会发生。但最终,我们会迎来一个理智的美国政府。我认为,届时它将与中国合作,共同避免超级智能接管人类的风险。这与20世纪50年代美国和苏联合作、努力避免氢弹带来的危险,是非常相似的。
人工智能企业的安全责任
玛格丽特·胡佛:今年夏天,您的人工智能领域同行、诺贝尔奖得主
《华尔街日报》报道称,白宫内部有一些人对这个想法持支持态度。但是,包括马克·扎克伯格、埃隆·马斯克,甚至
按照您现在的看法,这仍然是一个可行的解决方案吗?
杰弗里·辛顿:我认为,这是第一步。它并不是完整的解决方案,但我认为,目前人工智能几乎不受监管,这种情况简直不可思议。
举个例子,我们对药品的监管方式是:如果你想要推出一种新的药品,就必须说服美国食品药品监督管理局(FDA),证明这种药品是安全的。你必须开展相应的工作,向FDA证明它的安全性,而FDA还可以咨询外部专家的意见。
我们需要为人工智能建立类似的监管机制。这是我们最低限度必须做到的事情,而我们竟然连这一点都没有做到,这简直不可思议。
人工智能与核武器:两者有什么不同?
节目旁白:本节目是小威廉·F·巴克利主持的《Firing Line》的复兴版。原版节目曾在PBS播出长达33年。1993年,小威廉·F·巴克利主持了一场关于核武器扩散及核毁灭威胁的讨论。以下是物理学家Russell Seitz在节目中谈到控制核技术所面临的挑战。
Russell Seitz(1993年历史节目片段):随着高科技不断发展,可被转用于核扩散目的的适用技术也在不断增加。发展到某个临界点时,我们可能不得不更多地依赖自身的外交能力,而不是依靠我们在全球范围内遏制技术进步的能力。只有这样,我们才有可能控制核武器几乎不受限制地扩散的风险。
杰弗里·辛顿:好吧,人工智能与核武器之间存在一些重大区别。
第一个重大区别是,人工智能能够带来巨大的好处。我们之前还没有谈到这一点,但人工智能将在医疗保健和教育领域带来巨大的进步。它还将提高几乎所有行业的生产力。所以,正因为这些原因,人工智能一定会继续得到开发。我认为,我们无法阻止它。
但第二个区别是:核武器并不具备智能,而人工智能是有智能的。如果我们能够教育和训练人工智能,让它真正关心人类,那么,人工智能技术的扩散就没有那么令人担忧了。
开发人工智能是否是一个错误?责任与后悔的区别
玛格丽特·胡佛:您认为,自己毕生致力于开发的这项技术,可能从一开始就是一个错误。您在即将出版的新书中,正面讨论了这个问题,并写道:“承担责任与感到后悔,并不是同一回事。”请解释一下这两者之间的区别。
杰弗里·辛顿:好吧,我实际上想区分两种不同的后悔。
有一种情况是:比如,你有时对朋友做了一些不好的事情,然后你对此感到后悔。我把这种情况称为“负罪感式的后悔”(Guilty Regret)。也就是说,你做了一件事情,当时你就知道那是错误的,但你还是选择去做了。
还有另一种情况:你做某件事情的时候,根本无法预见它后来会产生什么后果,但是,最终它却带来了可能非常严重的负面影响。
我认为,我所做的事情属于第二种情况。如果让我重新回到当时的情境,拥有当时所掌握的那些知识,我依然会作出同样的选择。
玛格丽特·胡佛:辛顿博士,非常感谢您来到《Firing Line》,接受我的采访。
杰弗里·辛顿:感谢您的邀请。