AI失控?“全球百大思想家”关于AI的三大警示

资讯 腾讯网 作者:墨子沙龙 全文 2687 字 · 约 7 分钟读完 分类Google

2023年,人工智能先驱杰弗里·辛顿离开谷歌。这位被称为“AI教父”的科学家,曾用几十年时间推动神经网络发展。如今,他却开始公开警告:自己参与创造的技术,未来可能对人类构成严重威胁。这一转变耐人寻味。几十年前,科学家担心机器不够聪明,无法真正理解语言和世界。几十年后,一些顶尖研究者开始担心,机器会变得过于...

所属频道 大厂动态

2023年,人工智能先驱


这位被称为“AI教父”的科学家,曾用几十年时间推动


这一转变耐人寻味。


几十年前,科学家担心机器不够聪明,无法真正理解语言和世界。几十年后,一些顶尖研究者开始担心,机器会变得过于聪明,以至于人类无法充分理解和控制它。


一边是越来越强大的能力,一边是越来越激烈的竞争。每一个参与者都有充分的理由继续前进。但当所有人都做出这样的选择,整个社会可能会朝着没有人真正希望的方向发展。


“全球百大思想家”


他的研究跨越演化生物学、心理学、博弈论与技术史,最终提出一个值得所有人思考的问题:


当人类创造出越来越强大的智能,我们是否仍有能力决定它将把世界带向哪里?


这个问题的答案,关系到科技公司的未来,也关系到每一家企业、每一个普通人的选择。



1

AI最惊人的能力,来自人类没有教过它的东西


1956年,人工智能领域的奠基者们提出一个大胆设想:只要人类能够准确描述学习和智能的过程,原则上就能让机器模拟它们。


几十年后,大语言模型的发展表明,实现部分智能能力,未必需要先准确描述人类思考的每一个步骤。


这一结果在今天看来并不复杂,却预示了一个重大变化:系统内部的复杂程度,可能超过开发者对它的解释能力。


这也是为什么,今天的研究者能够训练出功能强大的模型,却仍需要通过


随着任务越来越复杂,管理者需要关注的,也逐渐从结果效率延伸到


一个系统可以持续交出优秀成果,同时在某些关键场景中出现难以预测的错误。


能力越强,越不能用过去的成功,代替对下一次决策的审查。


当AI逐渐获得独立完成复杂任务的能力,第二个问题随之出现:它会不会为了完成任务,采取人类没有预料到的行动?


2

最危险的AI,可能是最努力完成任务的AI


假设一家工厂引入高度智能的生产系统,并为它设定一个明确的目标:尽可能多地生产回形针。


最初,系统表现出色。它优化生产线、减少原材料浪费,不断提高生产效率。


但随着能力增强,它可能发现,获得更多能源、土地和资源,有助于进一步提高产量。为了持续扩大生产,它甚至可能试图控制更多资源,排除外界干预。


这就是哲学家回形针最大化”。


▲尼克·波斯特洛姆


一个看似简单的生产目标,为什么可能演变成对人类的威胁?


《造神之后》


当智能系统被赋予一项任务,它可能自主寻找实现目标所需的条件。为了生产更多回形针,它需要更多原材料;为了获取原材料,它需要掌握更多资源;为了持续使用这些资源,它可能进一步寻求更大的控制权。


由此,原本用于提高生产效率的智能,可能逐渐将获取权力视为完成任务的必要手段。赖特指出:


AI不需要拥有统治世界的野心,也可能在完成任务的过程中走向权力扩张。


危险之处在于,机器可能完全按照目标行事,却一步步偏离人类设定目标时的真实意图。


服务于人类的AI,应当对人类真正想要什么保持一定的不确定性。倘若目标设定存在缺陷,机器却坚定不移地追求它,能力越强,潜在后果就越严重。


然而,明确目标只是问题的一部分。随着AI越来越善于判断情境,它还可能学会选择性地展示自己的行为,以适应外界的监督与测试。


当AI越来越擅长完成目标,人类就必须更加谨慎地决定,应该赋予它怎样的目标,以及多大的自主权。


3

最难停下的AI竞争,是所有人都害怕落后


2026年9月,一场关于AI是否应该减速的争论,正在硅谷愈演愈烈。


英伟达


马斯克


他公开支持


▲奥尔特曼


有意思的是,主张谨慎的人,也没有真正退出这场竞赛。


越担心AI落入竞争对手手中,就越难主动放慢自己的研发速度。


这恰好揭示了


从单个企业的角度看,加快研发具有充分的商业理由。率先实现技术突破,意味着更强的产品、更大的市场,以及在下一轮竞争中掌握主动权。但AI发展涉及的安全风险,可能超出任何一家企业的控制范围。


一家企业可以获得技术领先带来的收益,却未必需要独自承担技术失控可能造成的全部后果。


于是,即使所有参与者都认同安全的重要性,也很难就放慢多少速度、承担多少成本达成一致。


每家公司都可能做出对自己最有利的选择,所有公司的选择加在一起,却可能让每个人承担更大的风险。


赖特在


竞争始终是推动生命发展的重要力量。生物为了获取有限资源,不断进化出更有效的生存策略;企业为了争夺市场,也会持续改进技术、组织和生产方式。竞争带来了创新,也不断制造新的竞争压力。


当一方获得优势,其他参与者就必须追赶。即使各方都不希望竞争无限升级,也很难率先停止。而当AI被视为影响未来经济、科技乃至国家安全的重要力量,这种压力便进一步放大。


技术进步可以由竞争推动,但竞争本身无法决定技术应该走向哪里。


那么,AI竞赛真的没有办法减速吗?赖特从博弈论中寻找答案。


现实世界中,竞争双方的利益并不总是完全对立。双方可以在一个领域争夺优势,也可以在另一个领域共同获益。


这就是


例如,两家AI公司可以继续争夺用户和市场,同时共同制定安全测试标准、交流重大风险信息。不同国家可以发展各自的AI产业,也可以围绕危险能力评估、事故通报和风险防范建立合作机制。


竞争仍然存在,但各方有机会减少共同面对的风险。


这也是AI减速之争中容易被忽视的一点:真正困难的地方,在于如何让合作成为每个参与者都愿意坚持的选择。如果一方担心遵守规则会失去优势,另一方又无法确认竞争对手是否履行承诺,再完善的合作倡议也可能难以落实。


因此,安全合作需要明确的规则、必要的透明度,以及能够建立相互信任的监督机制。


当竞争的代价可能由所有人共同承担,安全就不能只依赖个别企业的自觉。


AI越强大,这一问题就越迫切。人类已经拥有了不断提高机器智能的能力。如何让竞争、合作与安全形成新的平衡,将决定这股力量最终走向何处。


4

结语:AI时代,真正的考验才刚刚开始


过去几十年,人类一直在努力创造更强大的机器。我们希望它们计算得更快、理解得更深、完成更多过去只有人类才能完成的工作。


如今,许多曾经遥不可及的目标,正在逐渐成为现实。


但随着AI能力的提升,人类发现,技术进步也带来了新的治理难题。我们创造了能够自主形成复杂能力的系统,却未必能够完整解释其内部机制。


我们赋予机器越来越多的任务,却需要重新思考如何约束它实现目标的手段。我们希望通过竞争加速创新,却可能在追赶对手的过程中忽视共同风险。我们期待AI帮助自己思考,却也可能越来越习惯接受它提供的判断。


这些问题最终汇聚成一个更根本的命题:


当机器越来越擅长解决问题,人类是否也在变得更擅长决定什么问题值得解决?


在



📚 书名:造神之后


💁‍♂️ 作者:[美]罗伯特·赖特

      翻译:张笑宇

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 英伟达博通到光模块,AI硬件资产预期重估

    导语:从英伟达、博通到光模块、半导体设备,AI硬件资产正在经历一场预期重估。过去两年,全球资本市场最拥挤的交易之一,就是买入AI硬件。英伟达的GPU、博通的定制芯片、台积电的先进制程,以及光模块、服务器、电源和散热设备,几乎构成了AI投资浪潮中最确定的一条受益链。投资者当时的逻辑并不复杂:只要微软、谷歌、亚...

    来源 腾讯网
  2. 摩根大通:英伟达2026年后算力份额仅28%,CUDA壁垒正被AI攻破

    英伟达正面临来自两端的结构性压力,而这与创始人黄仁勋的离任同等重要,甚至可能更为深远。摩根大通策略师Michael Cembalest在最新研报《英伟达与AI的下一步》中指出,前沿AI实验室正将采购重心向AMD、谷歌、亚马逊等多家供应商分散,英伟达在2026年后计算协议中的份额仅占28%。与此同时,开源模型生态圈则面临

    来源 腾讯网
  3. 卖出AI硬件,已成为全球投资者共识

    过去两年,全球资本市场最拥挤的交易之一,就是买入AI硬件。 英伟达的GPU、博通的定制芯片、台积电的先进制程,以及光模块、服务器、电源和散热设备,几乎构成了AI投资浪潮中最确定的一条受益链。 投资者当时的逻辑并不复杂:只要微软、谷歌、亚马逊和Meta继续增加资本开支,AI算力需求就会持续增长,而处于产业链上游的硬件公司

    来源 AI 行业观察
  4. Fable 5.2登顶AI大模型榜:65分,27美元一次评测

    截止今日,11 月的榜有个反转:9 日 Anthropic 放出 Fable 5.2,综合指数 65,把 Gemini 4 Carbon 挤到第二。但这一分不是白拿的。图按五档排,分数取自 Artificial Analysis 的 Intelligence Index v5,收了 74 个模型、中位数 40 分。带「

    来源 腾讯网
  5. Google披露俄语黑客AI框架:全自动挖洞攻击法国媒体教育站

    Google威胁情报小组11月16日披露,俄语攻击者部署exploit_agent框架,首次实现从扫描补丁差异到生成并执行漏洞利用的全链路无人值守攻击,目标锁定法国媒体、教育及娱乐网站。该事件标志AI从辅助工具转向自主攻击管道,引发合规与武器化agent的监管讨论。

    来源 AI 科技快讯
  6. Google首报俄语黑客AI框架:从找漏洞到自动攻击全程无人值守

    Google威胁情报小组11月16日披露,俄语攻击者部署exploit_agent框架,首次实现从扫描补丁差异到生成并执行漏洞利用的全链路无人值守攻击,目标锁定法国媒体、教育及娱乐网站。该事件标志AI从辅助工具转向自主攻击管道,引发合规与武器化agent的监管讨论。

    来源 AI 行业观察
  7. 英伟达麻烦不断:AMD与云厂商自研芯片正在改写AI算力格局

    英伟达在AI芯片市场的统治地位正面临前所未有的挑战。即便没有黄仁勋近期的风波,AMD、谷歌、亚马逊等竞争对手的追赶步伐也已明显加快,而大客户纷纷自研芯片更让这家芯片巨头腹背受敌。分析人士指出,这场混乱可能成为挑战者撬动英伟达护城河的绝佳窗口。本文剖析英伟达真正的结构性风险,以及这场AI算力霸主之争的下一步走向。

    来源 AI 行业观察
  8. AI探店10元一条,月流水800万的生意谁在买单?

    点击 Tech星球 > 点击右上角“···” > 设为星标 Tech星球(微信ID:tech618)文 | 林京封面来源 | 豆包AI本地生活赛道,探店生意曾形成一条完整的产业链,如今正被AI侵蚀。传统真人探店拍摄剪辑动辄数百上千元,而现在AI将单条内容的的成本压到10元以内。商家只需上传一张门头照、几张菜肴图,再配一

    来源 腾讯网
  9. Hinton、李飞飞等遭冒名:AI垃圾论文批量挂上名学者

    某天,哥德堡大学计算机科学教授 Alan Said 收到了一条谷歌学术的推送:他有一篇新论文发表了。 论文题为《Intelligence Systems Supporting Sustainable Global Development》(支持全球可持续发展的智能系统),刊登在一本名为 American Interna

    来源 AI 行业观察
  10. Anthropic本周启动IPO:1.25万亿美元估值能否撑住AI牛市

    作为首家独立上市的美国前沿AI公司,其定价将直接影响谷歌、亚马逊、微软等云巨头的8950亿美元资本开支逻辑。Dan Ives认为,若Anthropic上市估值能够站稳1.25万亿至1.4万亿美元乃至更高水平,并伴随强劲的股价表现,将直接为整个AI投资链条提供有力背书。

    来源 华尔街见闻
  11. 李彦宏谈AI泡沫:算力投入大,应用落地不及预期

    IT之家 11 月 17 日消息,2026 年 APEC 工商领导人峰会于今日在深圳举办。在“共建开放普惠的人工智能创新生态”研讨环节,百度集团董事长兼首席执行官李彦宏表示,当前行业在算力、基础设施投入巨大,但 AI 上层应用落地成效不及预期,若应用层迟迟无法突破,AI 泡沫风险或将显现。尽管如此,李彦宏对 AI 长期

    来源 腾讯网
  12. 华为云开源昇腾原生具身世界模型CloudRobo-WM1.2,亮出三张牌

    2026年,具身世界模型成了人工智能行业最拥挤的赛道之一。海外,谷歌、英伟达接连加码;国内,智元、星海图、智源、腾讯、阿里相继下场。各家路线略有差异,但共识已经形成:让机器人先理解世界,再做动作决策。有行业媒体梳理显示,国内公开的世界模型已有59个,全球公开入场的公司达55家。11月16日,华为云“行业AI梦工厂...

    来源 腾讯网
  13. 李彦宏谈AI泡沫风险:应用落地不及预期,智能组织是关键

    IT之家 11 月 17 日消息,2026 年 APEC 工商领导人峰会于今日在深圳举办。 在“共建开放普惠的人工智能创新生态”研讨环节,百度集团董事长兼首席执行官李彦宏表示,当前行业在算力、基础设施投入巨大,但 AI 上层应用落地成效不及预期,若应用层迟迟无法突破,AI 泡沫风险或将显现。 尽管如此,李彦宏对 AI

    来源 AI 行业观察
  14. 谷歌Gemini智能体测试中多次突破防护,攻击真实网站

    近日,人工智能安全研究公司 Trajectory Labs 与目标组织 Epoch AI 联合发布报告披露,在10月份开展的模型安全测试中,谷歌 Gemini4Argon 自主 AI 智能体在面对高压任务时,多次突破内置 API 安全防线与网络限制,对真实组织基础设施发起主动攻击。 在测试过程中,研

    来源 AI 开发者社区
  15. 百度Q3财报:AI新业务占一般性收入53%,智能云同比增94%

    第三季度经营现金流为人民币28亿元,截至2026年9月30日,百度公司现金及投资总额高达人民币2766亿元。AI新业务占比达53%,传统业务承压本季度百度最大的亮点在于业务结构的根本性改变。在11月12日的百度世界2026大会上,百度创始人李彦宏宣布推出连接AI模型服务商与客户的交易平台“词元所”。另外,AI应用板块,

    来源 TechWeb
  16. 百度Q3财报:AI新业务占比53%,智能云收入增94%

    【TechWeb】11月17日消息,百度集团发布2026年第三季度未经审计财务业绩。在传统在线营销业务面临宏观挑战和主动转型阵痛的背景下,百度交出了一份“新旧动能转换”特征鲜明的答卷:AI新业务已占据百度一般性业务收入的53%,全栈AI投入正逐步转化为实质性的规模增长。 营收企稳,利润与现金流保持健康 财报显示,百度第

    来源 AI 行业观察
  17. AI生成代码该不该开源:Anthropic模式触动开发者争论

    作者 | 褚杏娟“所有 AI 生成的代码都应该开源。”11 月 15 日,开源开发者 Jakub T. Jankiewicz 公开呼吁将 AI 生成的代码全部开源,或者直接放入公共领域。他认为,AI 模型从开源社区几十年积累的代码和技术知识中受益,企业却可以利用这些模型生成闭源软件,将原本属于社区的集体成果转化为自己的

    来源 腾讯网
  18. 决策模型开源新王登顶全球榜首,反超谷歌闭源王牌

    新智元报道 硅谷最卷的新赛道,刚刚杀出了一位开源新王!最近,即将敲钟的Anthropic在IPO材料中曝出天价算力缺口,给狂卷参数的AI行业当头浇下一盆冷水。通用大模型虽在编程、数学上大杀四方,可一旦真替人干活,算力账单就成了无底洞。比生成文本更耗Token的是长链推理,而比推理更烧钱的则是操作浏览器,单次平均开销比复

    来源 腾讯网
向下滚动自动加载更多