朱帅谈AI治理:控制窗口正在收窄,风险不在科幻场景

资讯 腾讯网 作者:环球网 全文 1775 字 · 约 5 分钟读完 分类影视

导读:真正需要警惕的,不是科幻电影中AI突然成为人类的敌人,而是人类在科技竞争、资本竞争和地缘政治竞争中,不断扩大AI的能力边界,却没有同步建立足够强大的安全护栏随着人工智能(AI)正以“令人难以置信”的速度发展,近期有不少国内外机构发出警告,AI的影响已从生产效率延伸到生物安全、网络安全以及人的社会关系等...

所属频道 影视与游戏

真正该担心的,并不是科幻片里AI忽然变成人类的对手。朱帅的看法是,人类在科技竞争、资本竞争和地缘政治竞争里不断把AI的能力边界往外推,安全护栏却没有同步建得足够强,这才是问题所在。

2026全球治理论坛(雄安)发布相关内容之际,这一判断有了更具体的语境。若“失控”指的是AI突然有了意识、摆脱人类并反过来统治人类,眼下显然没有这种迹象。可要是“失控”说的是AI能力增长快过人类社会立规矩、调制度、应对风险的速度,那这股势头已经需要高度警惕。

传统技术的能力边界正在被突破。以往的技术革命,多是机器替代人的体力和重复性劳动;新一代人工智能却开始涉足语言理解、知识分析、代码编写、科研辅助,乃至复杂任务执行。AI不再只是被动听命行事的工具,而开始具备一定程度的自主规划、工具调用和任务执行能力。这意味着,AI正走进过去由人类相对独占的“领地”。

问题也跟着变了。从前大家关心“AI会不会犯错”,现在越来越需要盯住的是“AI越来越强之后,人类还能不能有效地说不”。医疗、金融、交通、能源、公共治理等领域,AI已经参与重要决策。理论上最终决定权还在人手里,可一旦决策者越来越依赖AI给出的判断,又看不懂它的推理过程,也没有足够能力和时间去独立验证,“最终决定权”就容易停留在纸面上。

更值得警惕的是,AI正进入几个传统治理体系最难覆盖的领域。头一个是生物安全。AI能辅助药物研发、分析复杂生物信息、设计实验方案,这些本事可以推动医学进步,同时也带有明显的双用途风险。

再就是网络安全。AI既能帮防御方找漏洞、分析攻击,也可能被拿来生成恶意代码、寻找系统弱点、自动化实施攻击。网络攻击的专业门槛一路降低,传统网络安全体系将面临新的挑战。社会心理领域同样在名单上。

全球AI治理不能再慢半拍。面对AI的快速发展,国际社会并非没有动作。这些年,联合国、欧盟以及多个国家和国际组织都在推进人工智能治理。联合国已启动全球人工智能治理对话,并建立人工智能独立国际科学小组,想为全球AI风险评估和规则协调提供一个共同基础。

中国也一直积极参与全球AI治理。2023年,中国提出相关倡议。

问题是,如果各国都怕自己在AI竞争里落后,因此不愿率先放慢脚步,就容易形成一种危险的竞赛局面。

第一步要做的,是搭建一套全球范围的AI风险评估与预警机制。AI能力眼下到了哪一步、哪些能力正被突破、会带来怎样的跨境风险,国际社会都得盯住并持续评估,同时推动形成更透明、更客观的国际评估体系。

第二步,得把AI能力分级和风险红线立起来。普通办公、教育这类低风险应用,可以交给行业规范和透明度要求去管;生物安全、网络攻击、金融系统、关键基础设施、军事等高风险领域则不同,测试、认证、访问控制、人为干预制度都要更严。

第三步,要把“人类最终控制权”原则定下来。核武器使用、重大军事行动、关键基础设施控制这类重大事项,不可逆的决定权不能交到AI手里。医疗、金融、司法等领域同样得守住这一条。

还要防止AI治理被阵营化。AI治理正成为全球科技竞争的新领域,中国不仅在完善国内治理体系,同时也积极参与国际规则制定。

一边是推动建立覆盖AI研发、训练、部署、应用和退出的治理框架。

另一边是推动全球AI治理更加开放、包容,避免安全规则变成新的技术壁垒。尤其要关注发展中国家的AI能力建设,推动算力、人才、基础设施等领域的国际合作,避免形成新的隔阂。

更重要的是,要防止AI治理被地缘政治阵营化。如果未来全球形成彼此封闭的AI技术体系、标准体系和治理体系,AI就难以成为促进全球发展的工具,反而可能变成新的大国竞争工具。

说回“AI是否已经脱离人类控制”,答案可能是:还没有,但人类控制AI的窗口在收窄。算力、能源、数据、芯片、基础设施以及AI部署权,今天仍握在人类手中。问题在于技术能力涨得太快,法律、制度和治理体系的建立往往要慢得多。

科幻片里AI突然调转枪口对付人类,这种场面反倒不是最该担心的。真正危险的地方在于,科技竞争、资本竞争、地缘政治竞争几股力量推着AI的能力边界不断外扩,安全护栏却没跟上同样的节奏。

可话说回来,因为怕风险就停下AI发展,既不现实,也做不到。真正走得通的路子,是让AI进入一个“有边界的加速时代”——能力可以继续往前冲,但边界得同步立起来。

说到底,AI时代要守住的那条“边界线”,不是拦着机器变聪明,而是保证机器再强,往哪个方向走,最后还是人说。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 前OpenAI研究员克里斯蒂亚诺:AI失控或成在世人群主要死因

    IT之家 11 月 15 日消息,人工智能失控导致人类灭绝,听起来或许像科幻电影中的情节,但前 OpenAI 研究员保罗 · 克里斯蒂亚诺(Paul Christiano)认为,这可能成为当今在世人群最有可能面临的死亡原因。当地时间周一,克里斯蒂亚诺在希尔顿讲座(The Hinton Lectures)上表示:“我认为

    来源 腾讯网
  2. AI拍电影记性差怎么破:浙大等团队给生成系统配了两本记忆账本

    你有没有玩过那种需要来回跑图的游戏。角色先去了厨房,又去了卧室,又去了院子,然后游戏突然要求你回到厨房,去检查一下你之前有没有把炉子关掉。如果这个游戏记性不好,每次你回到厨房,炉子的状态都是随机的,跟你离开时的样子对不上,那这游戏大概率会被你骂到退款。现在把这个场景换成AI拍视频,你就能摸到这篇论文想解...

    来源 腾讯网
  3. Seedance 2.0与可灵分拆:2026年AI视频重塑影视资本格局

    AI改写行业,谁先交卷?钛媒体《智能大迁移》将从十个问题出发,观察AI如何从模型之争落地到千行百业。接下来我们还会整理更多的话题,通过中美技术趋势和行业观察,看不同行业的智能迁移。

    来源 钛媒体
  4. 方桃子AI演员首条商单被罚6.82万:虚拟人代言美瞳涉虚假广告

    AI虚拟演员“方桃子”因发布美瞳虚假广告,其运营公司广州我的影视文化传媒有限公司被广州市番禺区市场监督管理局罚款6.82万余元。调查显示,该公司为广告主安徽花信企业管理有限公司制作广告,通过“方桃子”账号推广“NUTNUTLOOK坚果力”美瞳,视频中使用“戴了一天都很舒服”“可以放心眨眼”等宣传语。

    来源 AI 产业速递
  5. 辛顿:AI数学已超多数数学家,10年内或开出人类看不懂的分支

    【“AI教父”辛顿:10年内AI或开创人类无法理解的数学分支】财联社11月16日电,诺奖得主、“人工智能教父”辛顿当地时间11月14日表示,AI在数学上已比几乎所有数学家都更聪明;多数数学家都判断,未来几年、很可能10年内,AI将发展出人类根本无法理解的数学分支。(澎湃新闻)...

    来源 腾讯网
  6. 英伟达博通到光模块,AI硬件资产预期重估

    导语:从英伟达、博通到光模块、半导体设备,AI硬件资产正在经历一场预期重估。过去两年,全球资本市场最拥挤的交易之一,就是买入AI硬件。英伟达的GPU、博通的定制芯片、台积电的先进制程,以及光模块、服务器、电源和散热设备,几乎构成了AI投资浪潮中最确定的一条受益链。投资者当时的逻辑并不复杂:只要微软、谷歌、亚...

    来源 腾讯网
  7. 百度Q3财报:AI新业务占一般性收入53%,智能云同比增94%

    第三季度经营现金流为人民币28亿元,截至2026年9月30日,百度公司现金及投资总额高达人民币2766亿元。AI新业务占比达53%,传统业务承压本季度百度最大的亮点在于业务结构的根本性改变。在11月12日的百度世界2026大会上,百度创始人李彦宏宣布推出连接AI模型服务商与客户的交易平台“词元所”。另外,AI应用板块,

    来源 TechWeb
  8. 百度Q3财报:AI新业务占比53%,智能云收入增94%

    【TechWeb】11月17日消息,百度集团发布2026年第三季度未经审计财务业绩。在传统在线营销业务面临宏观挑战和主动转型阵痛的背景下,百度交出了一份“新旧动能转换”特征鲜明的答卷:AI新业务已占据百度一般性业务收入的53%,全栈AI投入正逐步转化为实质性的规模增长。 营收企稳,利润与现金流保持健康 财报显示,百度第

    来源 AI 行业观察
  9. 10元探店,6元模特:月入800万的AI假体验生意,谁在买单?

    本地生活赛道,探店生意曾形成一条完整的产业链,如今正被AI侵蚀。 传统真人探店拍摄剪辑动辄数百上千元,而现在AI将单条内容的的成本压到10元以内。商家只需上传一张门头照、几张菜肴图,再配一个AI主播,即可生成一条AI探店视频。 此外,抖音等平台上已出现专门的AI探店账号,有博主仅1.9万粉丝,专注此类内容,首页显示累计

    来源 AI 行业观察
  10. 腾讯总办号召AI时代再创业:不拥抱就是被颠覆

    今日,“腾讯文化”公众号发文《总办号召 AI 时代再创业,“心态归零”》,再度谈及28岁生日这天,腾讯总办对AI时代的机会、挑战与选择的看法。文章指出,面对技术变革的巨浪,没有人是旁观者。所有人都要做出选择。如果不想被颠覆,真正重要的事只有一件:一起动起来。“现在进行的智能革命如果不投入拥抱,就是被颠覆。这是一个生死存

    来源 TechWeb
  11. 腾讯总办喊话AI再创业:不投入拥抱就是被颠覆

    今日,“腾讯文化”公众号发文《总办号召 AI 时代再创业,“心态归零”》,再度谈及28岁生日这天,腾讯总办对AI时代的机会、挑战与选择的看法。文章指出,面对技术变革的巨浪,没有人是旁观者。所有人都要做出选择。如果不想被颠覆,真正重要的事只有一件:一起动起来。“现在进行的智能革命如果不投入拥抱,就是被颠覆。这是一个生死存

    来源 TechWeb
  12. 百度三季报:AI新业务营收132亿,占比53%连续三季过半

    4天前,在百度世界2026大会上,百度创始人李彦宏用“新电能”与“新厂房”作比,提出一个判断:AI只是新电能,企业若只换“电机”而不重新设计“厂房”,投入便难以转化为产出。11月16日晚间,百度2026年三季报给出了阶段性的答案:虽然进度有限,但报表中的AI成色日趋“浓郁”。财报显示,百度三季度总营收约308亿元,同比

    来源 腾讯网
  13. 嘉兴建“微短剧青创之城”:1年聚1.5万青年创作者

    中新网嘉兴11月16日电(傅飞扬 周丽丽)2026年,微短剧的产能闸门被AI彻底冲开。 放眼浙江嘉兴,今年以来,该市大视听产业新增市场主体172家,总注册资本达6.7亿元;1月至8月,大视听规上企业实现营收465.7亿元,同比增长20.1%,内容生产类营收增速达到42.3%;嘉兴九州文化传媒有限公司(下称“九州文化”)

    来源 腾讯网
  14. CataX AI完成4000万元种子轮融资,启明创投孵化并独家投资

    【TechWeb】11月16日消息,近日,上海凯思达生物医药科技有限公司(下称CataX AI)宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。 CataX AI创立于上海,是一家智能体(Agent)原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-

    来源 AI 行业观察
  15. CataX AI种轮融资4000万:Agent原生推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  16. CataX AI获4000万种子轮融资,用Agent推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  17. 长飞光纤前三季营收191亿:光谷老产业接住AI新需求

    界面新闻记者 | 肖芳界面新闻编辑 | 文姝琪 AI算力需求持续升温,曾经被视为增长见顶的光纤光缆行业,正在迎来新一轮景气周期。位于武汉光谷的长飞光纤,正是这一轮AI行情中的明星企业。今年前三季度,长飞光纤销售收入达到191亿元,同比增长86%。今年以来,长飞光纤股价一度涨幅超过400%。但这并不是一场突然降临的好运。

    来源 腾讯网
  18. Anthropic花34亿美元买发电机:AI算力争夺战打到电力端

    据英国《金融时报》11月8日报道,Anthropic在9月下旬与位于德克萨斯州圣安东尼奥的设备供应商OnePWR Solutions完成一笔交易,以34亿美元(约合人民币227亿元)锁定1.7吉瓦重型发电机供货,用于数据中心的电力供给。 更早之前,AI基础设施公司Crusoe于4月向密苏里州ProEnergy订购13台

    来源 AI 行业观察
  19. 微短剧出海:2025年下载11.99亿次,如何讲好中华文化

    微短剧出海不仅仅是狭义的文化产品出海,更是构建更有效力的国际传播体系的重要实践。能打动用户的好内容永远是硬通货,须推动微短剧行业从粗放式的文化产品生产,向文化作品甚至文化精品创作迭代升级。——————————2025年我国海外短剧应用下载量达11.99亿次、总收入达23.29亿美元,形成一种新的传播景观。微短剧出...

    来源 腾讯网
  20. NBC环球押注微短剧:Peacock改版,豪门复仇剧情进竖屏

    (文/陈桐垚 编辑/吕栋)豪门恩怨、身份反转、隐藏的亿万富翁、蓄谋已久的复仇——中国观众最熟悉的那套微短剧剧情,正在被美国老牌传媒集团搬进自家流媒体应用,而且不再只是一个试验栏目。近日,康卡斯特旗下媒体公司NBC环球发布官方公告,公布其流媒体平台Peacock移动端的新一轮改版方案:微短剧、剧集片段、播客、游戏...

    来源 腾讯网
向下滚动自动加载更多