AI 安全争论这些年越来越两极化,德朗格(Clément Delangue)却给出了一个挺“不合群”的看法:AI 带来末日级风险的主观概率,也就是所谓的“P(Doom)”,在他看来接近于零。
这个说法出自他和《连线》(WIRED)的一次对话。德朗格认为,人们对 AI 失控的恐惧被明显放大了,真正该警惕的风险来源反而没人看。说到开源 AI 为什么必要,他的理由很直接:大部分风险,其实是少数几个玩家在闭门造车时造出来的。
什么是 P(Doom)?一个被反复引用的数字
P(Doom) 是近年在 AI 安全圈流行起来的说法,指的是“AI 导致人类灭绝或文明不可逆衰败”发生的主观概率。它算不上严谨的统计指标,更像是把模糊的担忧折算成一个数:研究者、创业者、政策制定者总被追问“你估多少”,答案的跨度却大得离谱——有人乐观到不足 1%,也有人给出两位数的高危判断。
德朗格把自己放在了光谱最乐观的那一端。不过“接近于零”不等于“零”:它更像一种姿态,用来对抗一种叙事——把 AI 当成某种随时会失控、说不清道不明的东西,而这种叙事在他看来已经过度占据了公共讨论。他真正想做的,是把焦点挪开。
风险并非均匀分布
“大部分风险实际上是由少数几个玩家在闭门造车时创造的。”——克莱芒·德朗格
这句话分两层看。一层是结构上的:最强的模型如果只握在极少数公司手里,训练数据、权重、评测方法和安全措施外界都查不到,风险就集中在一处、看不见,外部也很难纠正。另一层是方法上的:开源把模型交到数以百万计的开发者、研究者和红队测试者手上,失效模式、偏见、滥用路径才可能在公开环境里被发现、被讨论。
这和 Hugging Face 一直以来的定位对得上。作为全球最大的开源模型与数据集社区之一,它的商业模式和生态影响力都建立在“开放权重、公开评测、社区协作”上。德朗格这番话有他一贯的理念成分,也难免带着立场——读的时候得把这一点算进去。
开源与闭源:一场关于“谁有权检查”的路线之争
这几年,AI 行业在开放权重上分出了两条清楚的路线。一条以 Meta 的 Llama 系列、Mistral 以及众多来自中国和欧洲的模型为代表,主张用开放权重压低门槛、加快创新、分散权力;另一条由少数前沿实验室牵头,主张能力到了一定阈值就限制权重扩散,理由是“一旦发布就收不回来”。
监管这一头也在来回摆。欧盟《人工智能法案》给通用目的模型设了透明度与系统性风险评估义务,但“开放权重该不该豁免”一直吵得很凶;美国加州的 SB 1047 等立法尝试,则把争论引到“该管模型能力,还是该管部署行为”上。德朗格的论点其实给其中一派递了弹药:如果风险主要来自封闭开发,监管的核心工具就该是外部审计、透明度披露和第三方评测,而不是简单卡住权重发布。
质疑者的反驳:开源同样会放大能力
反对的声音不难找。批评者说,开放权重一旦放出去就召不回,安全对齐在微调阶段很容易被剥掉,恶意行为者拿到能力的成本因此大降。换句话说,开源让“防御者”变强,也让“攻击者”变强,这种不对称未必总偏向善的一边。也有人认为,“闭门”本身不是风险来源,模型能力才是——能力越强,放在哪儿都得严格治理。
德朗格的回应里藏着一个前提:透明度本身就是一种安全机制。一个能被成千上万人拆开、测试、批评的模型,比一个只对内部审计团队开放的模型更容易暴露问题。这个说法在软件安全史上不是没有先例,但能不能搬到能力快速跃迁的前沿 AI 系统上,还是个开放问题。
编者按:争论的真正焦点不是开源,而是可见性
把德朗格的表态简单读成“开源阵营的公关话术”,就看偏了。这场辩论真正争的,是谁有权检查最强的系统、谁为系统失效担责、治理该发生在模型发布之前还是之后。他的 P(Doom) 接近于零,与其说是在测量风险,不如说是在挑战风险叙事由谁分配:当恐惧被集中投射到“AI 本身”上,具体公司的具体决策就从视野里消失了。
站得住脚的态度大概是双向的:既承认开放权重带来的扩散风险需要配套的责任机制,也承认封闭开发造成的审查真空同样是一种风险。德朗格把问题提对了,但答案不会只属于任何一方。