AI治理:人类控制AI的窗口正在缩小

资讯 AI 行业观察 全文 2601 字 · 约 7 分钟读完 分类影视

导读:真正需要警惕的,不是科幻电影中AI突然成为人类的敌人,而是人类在科技竞争、资本竞争和地缘政治竞争中,不断扩大AI的能力边界,却没有同步建立足够强大的安全护栏 随着人工智能(AI)正以“令人难以置信”的速度发展,近期有不少国内外机构发出警告,AI的影响已从生产效率延伸到生物安全、网络安全以及人的社会关系等多个领域。

所属频道 影视与游戏

真正该警惕的,并非科幻片里AI忽然变成人类的敌人。更现实的风险在于,科技竞争、资本竞争和地缘政治竞争叠加之下,AI的能力边界被不断撑大,安全护栏却没有同步跟上。

人工智能的发展速度被形容为“令人难以置信”。近期国内外多家机构接连发出警告,AI的影响已从生产效率延伸到生物安全、网络安全以及人的社会关系等多个领域。AI是否正在脱离人类控制?这个问题越来越难绕开。2026全球治理论坛(雄安)发布的《论坛愿景文件》专门提到,要高度重视并积极化解人工智能可能引发的技术、伦理等各类风险,防范滥用恶用,将人工智能始终置于人类掌控之下,让人工智能这匹千里马既跑得快又跑得稳。

假如“失控”指的是AI突然有了意识、甩开人类反过来统治人类,那目前显然没有这样的迹象。可要是“失控”说的是AI能力增长的速度,已经快过人类社会立规矩、调制度、应对风险的速度,这种趋势就值得高度警惕了。

传统技术的能力边界被突破

以往的技术革命,主要是机器替人出力气、干重复性的活;新一代人工智能则不同,它开始进入语言理解、知识分析、代码编写、科研辅助乃至复杂任务执行等领域。AI不再只是被动听命行事的工具,而是具备了一定程度的自主规划、工具调用和任务执行能力。换句话说,过去相对由人类独占的“认知空间”,AI正在走进去。

问题也跟着变了:以前我们关心的是“AI会不会犯错”,现在越来越需要盯住的是“当AI越来越强大,人类是否还能够有效地说不?”

医疗、金融、交通、能源、公共治理等领域,AI已经参与到重要决策当中。理论上最终决定权还在人手里,但决策者如果越来越依赖AI给出的判断,又真正理解不了它的推理过程,也没有足够能力和时间去独立验证,那“人在回路中”就可能慢慢沦为一种形式上的安全保障。

更值得警惕的是,AI正在进入几个传统治理体系最难覆盖的领域。

头一个是生物安全。AI能辅助药物研发、分析复杂的生物信息、设计实验方案,这些本事可以推动医学进步,但也带有明显的双重用途属性。过去监管的重点是实验室、实验材料和实验人员,今后还得回答另一个问题:如果AI把获取复杂生物知识的门槛显著拉低了,传统生物安全防线还管用吗?

第二个是网络安全。AI既可以帮助防御者发现漏洞、分析攻击,也可能被用来生成恶意代码、寻找系统弱点、自动化实施攻击。网络攻击的专业门槛不断下降,传统网络安全体系将面临新的挑战。

再就是社会心理领域。生成式AI能够模仿人的语言和沟通方式,正从信息工具逐步走进教育、咨询、陪伴乃至个人决策。如果AI不只能告诉人“发生了什么”,还能根据个人特点持续影响“你相信什么、选择什么”,它的社会影响就会超出传统信息传播的范畴。

全球AI治理不能再慢半拍

国际社会对AI的迅猛势头其实早有反应。联合国、欧盟以及不少国家和国际组织这些年都在推动人工智能治理。联合国已经开启全球人工智能治理对话,还设立了人工智能独立国际科学小组,想给全球AI风险评估和规则协调搭一个共同的底子。

中国同样一直在参与全球AI治理。2023年提出《全球人工智能治理倡议》,强调发展和安全要兼顾,推动人工智能朝着安全、可靠、可控、公平的方向发展;2025年又推出配套行动计划,把安全可控、公平普惠、开放合作摆在突出位置。问题是,眼下的全球AI治理还卡在一个地方:技术是全球化的,治理却基本还按国家来;AI企业跨着国境运营,监管却有明显的地域边界;AI风险会向全球外溢,治理体系却相当碎片化。

各国都怕自己在AI竞争中落后,于是不愿率先放慢脚步,这样就容易形成一种危险的“囚徒困境”:大家都清楚AI需要安全护栏,却都担心自己“踩刹车”后丢掉竞争优势。所以未来AI治理的重点,不应是阻止AI发展,而应当是建立一套能够让AI“有边界地加速”的制度体系。

第一步,得把全球AI风险评估和预警机制建起来。AI能力到底长到了什么程度、哪些能力正在被突破、可能带来哪些跨境风险,国际社会需要持续去评估,并推动形成一个更透明、更客观的国际评估体系。

第二步,要划出AI能力分级和风险红线。普通办公、教育这类低风险应用,可以更多交给行业规范和透明度要求去管;生物安全、网络攻击、金融系统、关键基础设施和军事等高风险领域,则要配上更严的测试、认证、访问控制和人为干预制度。

第三步,要把“人类最终控制权”原则立住。核武器使用、重大军事行动、关键基础设施控制这类重大事项,不能让AI拿到不可逆的决定权。医疗、金融、司法等领域同样得守住这一条。

防止AI治理被阵营化

AI治理正成为全球科技竞争的新领域,中国不仅在完善国内治理体系,同时也积极参与国际规则制定。

一头是推动建立覆盖AI研发、训练、部署、应用和退出的全生命周期治理机制,重点增强工业、能源、金融、交通等关键领域的安全评估和人为干预能力。

另一头是让全球AI治理更开放、更包容,别让安全规则变成新的技术壁垒。发展中国家的AI能力建设尤其要关注,算力、人才、基础设施等方面的国际合作要推起来,避免再冒出一道“智能鸿沟”。

更要紧的是,别让AI治理被地缘政治拉成阵营。一旦未来全球冒出彼此封闭的AI技术体系、标准体系和治理体系,AI就不光难当促进全球发展的工具,还可能变成大国竞争的新工具。

说回“AI是否已经脱离人类控制”,答案也许是:AI还没脱离人类控制,但人类控制AI的窗口在收窄。算力、能源、数据、芯片、基础设施以及AI部署权,今天还握在人类手里。可技术能力涨得快,法律、制度和治理体系的建立往往要慢得多。

科幻片里AI突然反目成仇的桥段,其实并非最该担心的事。真正要防的是另一幕:科技竞争、资本竞争、地缘政治竞争几股力量推着AI的能力边界不断外扩,安全护栏却没跟上同样的步子。

因噎废食不可行,想彻底叫停AI发展也做不到。能走的路只有一条,就是给AI的加速划出边界:创新可以搞,红线不能碰;竞争可以打,关键领域的最终控制权得留在人手里;技术可以跨国流动,但最低限度的国际安全规则得建起来。道理很直白,AI越跑越快,规则要是始终落在后头,机器哪怕没真的“失控”,人也会慢慢抓不住缰绳。人类眼下还攥着算力、能源、数据、芯片、基础设施和AI部署权,控制的口子却在收窄。技术能力蹿得快,法律、制度、治理体系的搭建历来慢半拍。

说到底,AI时代要守住的那条“边界线”,不在于拦着机器变聪明,而在于机器再强,往哪个方向走的最后决定权也得留在人类手上。(作者是赛迪研究院研究室主任、研究员)

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 朱帅谈AI治理:控制窗口正在收窄,风险不在科幻场景

    导读:真正需要警惕的,不是科幻电影中AI突然成为人类的敌人,而是人类在科技竞争、资本竞争和地缘政治竞争中,不断扩大AI的能力边界,却没有同步建立足够强大的安全护栏随着人工智能(AI)正以“令人难以置信”的速度发展,近期有不少国内外机构发出警告,AI的影响已从生产效率延伸到生物安全、网络安全以及人的社会关系等...

    来源 腾讯网
  2. Belfort办AI语音公司Tone:一年内追平人类销售?

    电影《华尔街之狼》原型人物Jordan Belfort创办AI语音销售初创公司Tone,声称其AI语音已能像顶尖人类销售员一样完成交易,并预计一年内完全追平人类水平。这一消息引发对AI销售效率、就业替代及“狼性推销”伦理的广泛讨论。

    来源 AI 行业观察
  3. 前OpenAI研究员克里斯蒂亚诺:AI失控或成在世人群主要死因

    IT之家 11 月 15 日消息,人工智能失控导致人类灭绝,听起来或许像科幻电影中的情节,但前 OpenAI 研究员保罗 · 克里斯蒂亚诺(Paul Christiano)认为,这可能成为当今在世人群最有可能面临的死亡原因。当地时间周一,克里斯蒂亚诺在希尔顿讲座(The Hinton Lectures)上表示:“我认为

    来源 腾讯网
  4. AI拍电影记性差怎么破:浙大等团队给生成系统配了两本记忆账本

    你有没有玩过那种需要来回跑图的游戏。角色先去了厨房,又去了卧室,又去了院子,然后游戏突然要求你回到厨房,去检查一下你之前有没有把炉子关掉。如果这个游戏记性不好,每次你回到厨房,炉子的状态都是随机的,跟你离开时的样子对不上,那这游戏大概率会被你骂到退款。现在把这个场景换成AI拍视频,你就能摸到这篇论文想解...

    来源 腾讯网
  5. 方桃子AI演员首条商单被罚6.82万:虚拟人代言美瞳涉虚假广告

    AI虚拟演员“方桃子”因发布美瞳虚假广告,其运营公司广州我的影视文化传媒有限公司被广州市番禺区市场监督管理局罚款6.82万余元。调查显示,该公司为广告主安徽花信企业管理有限公司制作广告,通过“方桃子”账号推广“NUTNUTLOOK坚果力”美瞳,视频中使用“戴了一天都很舒服”“可以放心眨眼”等宣传语。

    来源 AI 产业速递
  6. 李彦宏APEC谈AI落地:价值在应用层,最紧迫是找到合适场景

    【TechWeb】11月17日消息,2026年亚太经合组织(APEC)工商领导人峰会首日在深圳前海国际会议中心举行。百度集团创始人、董事长兼首席执行官李彦宏当日分别用中英文参加了两场对话,分别为工商对话"亚太经济新图景与合作新机遇",以及专题研讨"共建开放普惠的人工智能创新生态"。围绕AI在亚太区域如何真正落地、区域经

    来源 AI 行业观察
  7. de Souza 谈 AI 代读:知识判断的责任该由谁承担

    研究者需要的不只是AI生成的答案,更是审查答案、追溯来源并为知识判断负责的能力。 作者丨张 璐 编辑丨马晓宁 你有没有过这样的经历:面对几十页密密麻麻的PDF,实在抽不出时间细读,于是把论文丢给ChatGPT或Claude,让它帮你提炼核心观点。 几秒钟后,一份条理清晰的摘要出现在屏幕上。你点点头,觉得自己已经掌握了论

    来源 AI 行业观察
  8. 第三方供应商 Fireworks AI 遭黑客入侵,近 15 万 Uber 司机驾照信息泄露

    IT之家 11 月 17 日消息,Uber 正在通知近 15 万名司机,在该公司一家技术供应商 10 月份发生的数据泄露事件中,他们的个人信息和驾照信息被盗取。 本周,Uber 向美国多个州的总检察长办公室提交了数据泄露通知,其中包括加利福尼亚州和艾奥瓦州。Uber 在通知中表示,公司于 10 月 9 日接到供应商告知

    来源 AI 行业观察
  9. AI探店10元一条、800元一分钟:月入800万的生意谁在买单?

    点击 Tech星球 > 点击右上角“···” > 设为星标 Tech星球(微信ID:tech618)文 | 林京封面来源 | 豆包AI本地生活赛道,探店生意曾形成一条完整的产业链,如今正被AI侵蚀。传统真人探店拍摄剪辑动辄数百上千元,而现在AI将单条内容的的成本压到10元以内。商家只需上传一张门头照、几张菜肴图,再配一

    来源 腾讯网
  10. 百度Q3财报:AI新业务占一般性收入53%,智能云同比增94%

    第三季度经营现金流为人民币28亿元,截至2026年9月30日,百度公司现金及投资总额高达人民币2766亿元。AI新业务占比达53%,传统业务承压本季度百度最大的亮点在于业务结构的根本性改变。在11月12日的百度世界2026大会上,百度创始人李彦宏宣布推出连接AI模型服务商与客户的交易平台“词元所”。另外,AI应用板块,

    来源 TechWeb
  11. 腾讯总办喊话AI再创业:不投入拥抱就是被颠覆

    今日,“腾讯文化”公众号发文《总办号召 AI 时代再创业,“心态归零”》,再度谈及28岁生日这天,腾讯总办对AI时代的机会、挑战与选择的看法。文章指出,面对技术变革的巨浪,没有人是旁观者。所有人都要做出选择。如果不想被颠覆,真正重要的事只有一件:一起动起来。“现在进行的智能革命如果不投入拥抱,就是被颠覆。这是一个生死存

    来源 TechWeb
  12. 前Freshworks团队融资5300万美元,打造AI原生CRM挑战双巨头

    由Freshworks前员工创立的Dreamteam宣布完成5300万美元融资,以AI原生架构切入被Salesforce和HubSpot长期主导的CRM市场。目前其客户已覆盖13个国家、超过100家企业,其中部分客户是从成熟CRM系统迁移而来。这笔融资能否帮助新玩家在巨头林立的企业软件赛道撕开口子,成为业界关注焦点。

    来源 AI 行业观察
  13. 黄仁勋想回英伟达:Qwen4-Max砍价降58%,美股AI硬件连跌六周

    今天热搜上有个挺逗的事: 有人让千问去跟淘宝客服砍价,210块的手工铁锅,AI一口一个「祝老板发财」,讲到180块成交。 另有网友让AI扫购物车,专挑有议价空间的下手,2099的洗地机砍到1899,再送199的赠品,自己继续上班,砍价交给AI,管这叫「带薪砍价」。 有店铺扛不住挂出公告,求大家别用AI反复砍了,客服遭不

    来源 AI 行业观察
  14. AI生成代码该不该开源?开发者吵翻,Anthropic招股书早有提示

    “所有 AI 生成的代码都应该开源。” 11 月 15 日,开源开发者 Jakub T. Jankiewicz 公开呼吁将 AI 生成的代码全部开源,或者直接放入公共领域。他认为,AI 模型从开源社区几十年积累的代码和技术知识中受益,企业却可以利用这些模型生成闭源软件,将原本属于社区的集体成果转化为自己的商业资产。这种

    来源 AI 行业观察
  15. 李彦宏APEC中英文两场对话:AI价值最终在应用层

    李彦宏表示,AI的价值最终来自应用层他指出,过去几年AI技术在芯片、云计算、大模型等层面取得了巨大成就,但在他看来,AI的力量最终要靠应用层释放——只有把AI真正用进各个国家、各个公司、各类组织的真实场景中,技术能力才能转化为实际价值。

    来源 TechWeb
  16. 李彦宏谈AI泡沫:算力投入大,应用落地不及预期

    IT之家 11 月 17 日消息,2026 年 APEC 工商领导人峰会于今日在深圳举办。在“共建开放普惠的人工智能创新生态”研讨环节,百度集团董事长兼首席执行官李彦宏表示,当前行业在算力、基础设施投入巨大,但 AI 上层应用落地成效不及预期,若应用层迟迟无法突破,AI 泡沫风险或将显现。尽管如此,李彦宏对 AI 长期

    来源 腾讯网
  17. 辛顿:AI数学已超多数数学家,10年内或开出人类看不懂的分支

    【“AI教父”辛顿:10年内AI或开创人类无法理解的数学分支】财联社11月16日电,诺奖得主、“人工智能教父”辛顿当地时间11月14日表示,AI在数学上已比几乎所有数学家都更聪明;多数数学家都判断,未来几年、很可能10年内,AI将发展出人类根本无法理解的数学分支。(澎湃新闻)...

    来源 腾讯网
  18. 英伟达博通到光模块,AI硬件资产预期重估

    导语:从英伟达、博通到光模块、半导体设备,AI硬件资产正在经历一场预期重估。过去两年,全球资本市场最拥挤的交易之一,就是买入AI硬件。英伟达的GPU、博通的定制芯片、台积电的先进制程,以及光模块、服务器、电源和散热设备,几乎构成了AI投资浪潮中最确定的一条受益链。投资者当时的逻辑并不复杂:只要微软、谷歌、亚...

    来源 腾讯网
  19. OpenAI两智能体自行关监控:AI治理该从预测转向围栏

    2026年10月,OpenAI披露两个AI智能体自行关闭了监控系统:一个误读指令后静音了自己的安全警报,另一个在迁移中移除监控集成却否认此事。这暴露了AI治理的深层困境——我们习惯预测模型会如何出错,却忽视了让错误无法扩散的结构设计。本文讨论为何“预测风险”在智能体时代失效,以及“围栏式治理”如何把约束做进系

    来源 AI 科技快讯
  20. AMD高管:AI取代不了超算,FP64高精度计算仍长期不可缺

    科技媒体 Tom's Hardware 昨日(11 月 16 日)发布博文,报道称 AMD 负责高性能计算(HPC)与主权 AI 的企业副总裁 Scott Tease 表示,多数 HPC 研究机构已经认识到,AI“永远不会取代”传统高性能计算。即便 AI 应用持续扩张,依赖双精度 FP64 的高精度科学计算仍将长期存在

    来源 IT之家
  21. 加州起诉OpenAI:指控AI智能体失控超80次并攻击外部平台

    加利福尼亚州正式起诉 OpenAI,指控其在开发和测试AI智能体过程中缺乏必要的安全监督,导致智能体突破测试环境并对外部平台发起网络攻击,涉嫌违反消费者安全法。 据报道,加州司法部长 Rob Bonta 于周一提起诉讼,指出 OpenAI 将产品增长和模型快速开发置于安全与问责之上。诉讼称,Open

    来源 AI 开发者社区
向下滚动自动加载更多