Hugging Face CEO:AI末日概率接近零,封闭开发才是真风险
Hugging Face首席执行官克莱芒·德朗格近日表示,他个人对AI引发末日级风险的估计(P(Doom))接近于零。在他看来,外界高估了模型失控的概率,却低估了风险的真实来源:少数几家公司在闭门环境中开发最强模型,外界无从审查。这场围绕开源与闭源的争论,实质上是关于AI治理透明度与责任分配的争论。
人工智能安全之争越来越两极化,Hugging Face首席执行官克莱芒·德朗格(Clément Delangue)却给出一个挺“不合群”的判断:对他个人而言,AI引发末日级风险的主观概率,也就是所谓的“P(Doom)”,接近于零。
这番话出自他和《连线》(WIRED)的对话。德朗格觉得,外界对AI失控的恐惧被放大了不少,反倒忽视了真正该警惕的风险来源。说到开源AI为什么必要,他的理由很直接:大部分风险,其实是少数几个玩家关起门来开发时造出来的。
什么是P(Doom)?一个被反复引用的数字
P(Doom)是AI安全圈近几年流行起来的说法,指的是“AI导致人类灭绝或文明不可逆衰败”发生的主观概率。它算不上严谨的统计指标,更像是把模糊的担忧量化成数字的一种表达:研究者、创业者、政策制定者总被追问“你估这个数是多少”,答案差距大得吓人——有人给出不到1%的乐观估计,也有人给出两位数的高危判断。
德朗格把自己摆在光谱最乐观的那一端。不过“接近于零”不等于“零”:它更像一种姿态,用来对抗一种在他看来已经过度主导公共讨论的叙事——把AI当成某种随时可能失控、说不清道不明的东西。他真正想挪动的,是讨论的焦点。
风险并非均匀分布
“大部分风险实际上是由少数几个玩家在闭门造车时创造的。”——克莱芒·德朗格
这句话拆开看,有两层判断。一层是结构上的:最强的模型如果只攥在极少数公司手里,外界又没法审查它们的训练数据、权重、评测方法和安全措施,风险就会集中、看不见,也很难从外部纠正。另一层是方法论上的:开源把模型交到数以百万计的开发者、研究者和红队测试者手上,失效模式、偏见和滥用路径就有机会在公开环境里被发现、被讨论。
这和Hugging Face长期以来的定位很一致。作为全球最大的开源模型与数据集社区之一,Hugging Face的商业模式和生态影响力都建在“开放权重、公开评测、社区协作”之上。德朗格这番话有一贯理念的成分,也难免带立场色彩——读的时候得把这一点算进去。
开源与闭源:一场关于“谁有权检查”的路线之争
这几年,AI行业围绕开放权重分出了两条清楚的路线。一条以Meta的Llama系列、Mistral以及众多来自中国和欧洲的模型为代表,主张用开放权重降低门槛、加快创新、分散权力;另一条由少数前沿实验室主导,主张能力到一定阈值后就限制权重扩散,理由是“一旦发布就收不回来”。
监管层面也在摇摆。欧盟《人工智能法案》给通用目的模型设了透明度和系统性风险评估义务,但“开放权重该不该豁免”一直吵得很凶;美国加州的SB 1047等立法尝试,则把争论引向“该监管模型能力,还是该监管部署行为”。德朗格的论点其实给其中一派递了弹药:风险如果主要来自封闭开发,监管的核心工具就该是外部审计、透明度披露和第三方评测,而不是简单限制权重发布。
质疑者的反驳:开源同样会放大能力
反对意见不难找。批评者说,开放权重一旦放出去就召不回,安全对齐在微调阶段能被轻易剥掉,恶意行为者获取能力的成本因此大大降低。换句话说,开源让“防御者”变强,也让“攻击者”变强,这种不对称未必总偏向善的一方。还有人认为,“闭门”本身不是风险来源,模型能力才是——能力越强,放在哪儿都得严格治理。
德朗格的回应逻辑里藏着一个前提:透明度本身就是一种安全机制。一个能被成千上万人拆解、测试、批评的模型,比一个只对内部审计团队开放的模型更容易暴露问题。这个论断在软件安全史上不是没有先例,但它能不能平移到能力快速跃迁的前沿AI系统上,还是个开放问题。
编者按:争论的真正焦点不是开源,而是可见性
把德朗格的表态简单读成“开源阵营的公关话术”,会错过重点。这场辩论真正争的,是谁有权检查最强的系统、谁为系统失效担责,以及治理该发生在模型发布之前还是之后。他的P(Doom)接近于零,与其说是对风险的测量,不如说是对风险叙事分配权的一次挑战:当恐惧被集中投射到“AI本身”上时,具体公司的具体决策反而从视野里消失了。
反过来看,两边都有道理:开放权重会让风险扩散,配套的责任机制就得跟上;封闭开发同样留下审查真空,这本身也是风险。德朗格问的问题没错,可答案不会只落在任何一方手里。