朱帅谈AI治理:控制窗口正在收窄,风险不在科幻场景
导读:真正需要警惕的,不是科幻电影中AI突然成为人类的敌人,而是人类在科技竞争、资本竞争和地缘政治竞争中,不断扩大AI的能力边界,却没有同步建立足够强大的安全护栏随着人工智能(AI)正以“令人难以置信”的速度发展,近期有不少国内外机构发出警告,AI的影响已从生产效率延伸到生物安全、网络安全以及人的社会关系等...
真正该担心的,并不是科幻片里AI忽然变成人类的对手。朱帅的看法是,人类在科技竞争、资本竞争和地缘政治竞争里不断把AI的能力边界往外推,安全护栏却没有同步建得足够强,这才是问题所在。
2026全球治理论坛(雄安)发布相关内容之际,这一判断有了更具体的语境。若“失控”指的是AI突然有了意识、摆脱人类并反过来统治人类,眼下显然没有这种迹象。可要是“失控”说的是AI能力增长快过人类社会立规矩、调制度、应对风险的速度,那这股势头已经需要高度警惕。
传统技术的能力边界正在被突破。以往的技术革命,多是机器替代人的体力和重复性劳动;新一代人工智能却开始涉足语言理解、知识分析、代码编写、科研辅助,乃至复杂任务执行。AI不再只是被动听命行事的工具,而开始具备一定程度的自主规划、工具调用和任务执行能力。这意味着,AI正走进过去由人类相对独占的“领地”。
问题也跟着变了。从前大家关心“AI会不会犯错”,现在越来越需要盯住的是“AI越来越强之后,人类还能不能有效地说不”。医疗、金融、交通、能源、公共治理等领域,AI已经参与重要决策。理论上最终决定权还在人手里,可一旦决策者越来越依赖AI给出的判断,又看不懂它的推理过程,也没有足够能力和时间去独立验证,“最终决定权”就容易停留在纸面上。
更值得警惕的是,AI正进入几个传统治理体系最难覆盖的领域。头一个是生物安全。AI能辅助药物研发、分析复杂生物信息、设计实验方案,这些本事可以推动医学进步,同时也带有明显的双用途风险。
再就是网络安全。AI既能帮防御方找漏洞、分析攻击,也可能被拿来生成恶意代码、寻找系统弱点、自动化实施攻击。网络攻击的专业门槛一路降低,传统网络安全体系将面临新的挑战。社会心理领域同样在名单上。
全球AI治理不能再慢半拍。面对AI的快速发展,国际社会并非没有动作。这些年,联合国、欧盟以及多个国家和国际组织都在推进人工智能治理。联合国已启动全球人工智能治理对话,并建立人工智能独立国际科学小组,想为全球AI风险评估和规则协调提供一个共同基础。
中国也一直积极参与全球AI治理。2023年,中国提出相关倡议。
问题是,如果各国都怕自己在AI竞争里落后,因此不愿率先放慢脚步,就容易形成一种危险的竞赛局面。
第一步要做的,是搭建一套全球范围的AI风险评估与预警机制。AI能力眼下到了哪一步、哪些能力正被突破、会带来怎样的跨境风险,国际社会都得盯住并持续评估,同时推动形成更透明、更客观的国际评估体系。
第二步,得把AI能力分级和风险红线立起来。普通办公、教育这类低风险应用,可以交给行业规范和透明度要求去管;生物安全、网络攻击、金融系统、关键基础设施、军事等高风险领域则不同,测试、认证、访问控制、人为干预制度都要更严。
第三步,要把“人类最终控制权”原则定下来。核武器使用、重大军事行动、关键基础设施控制这类重大事项,不可逆的决定权不能交到AI手里。医疗、金融、司法等领域同样得守住这一条。
还要防止AI治理被阵营化。AI治理正成为全球科技竞争的新领域,中国不仅在完善国内治理体系,同时也积极参与国际规则制定。
一边是推动建立覆盖AI研发、训练、部署、应用和退出的治理框架。
另一边是推动全球AI治理更加开放、包容,避免安全规则变成新的技术壁垒。尤其要关注发展中国家的AI能力建设,推动算力、人才、基础设施等领域的国际合作,避免形成新的隔阂。
更重要的是,要防止AI治理被地缘政治阵营化。如果未来全球形成彼此封闭的AI技术体系、标准体系和治理体系,AI就难以成为促进全球发展的工具,反而可能变成新的大国竞争工具。
说回“AI是否已经脱离人类控制”,答案可能是:还没有,但人类控制AI的窗口在收窄。算力、能源、数据、芯片、基础设施以及AI部署权,今天仍握在人类手中。问题在于技术能力涨得太快,法律、制度和治理体系的建立往往要慢得多。
科幻片里AI突然调转枪口对付人类,这种场面反倒不是最该担心的。真正危险的地方在于,科技竞争、资本竞争、地缘政治竞争几股力量推着AI的能力边界不断外扩,安全护栏却没跟上同样的节奏。
可话说回来,因为怕风险就停下AI发展,既不现实,也做不到。真正走得通的路子,是让AI进入一个“有边界的加速时代”——能力可以继续往前冲,但边界得同步立起来。
说到底,AI时代要守住的那条“边界线”,不是拦着机器变聪明,而是保证机器再强,往哪个方向走,最后还是人说。