Anthropic招股书警示AI灭绝人类风险:或影响公司业绩
10月26日,Claude的开发商Anthropic公开了上市招股书,其中黑纸白字写道:人工智能可能导致人类灭绝。这份招股书,仅风险提示部分就长达93页、7万多个英文单词,列出了几百种可能让公司彻底倒闭的情形,人类灭绝是其中分量最重的一条。一般公司上市,提示的风险多是客户流失、供应链中断。Anthropic提示的,却是
10月26日,
Claude的开发商Anthropic公开了上市招股书,白纸黑字写着:人工智能可能导致人类灭绝。
这份招股书光是风险提示部分就有93页、7万多个英文单词,罗列了几百种能让公司彻底倒闭的情形,其中分量最重的一条,就是人类灭绝。
通常公司上市,提示的风险不外乎客户流失、供应链中断;
Anthropic提示的,却是人类自身的存续。
AI会导致人类灭绝吗?丨电影《终结者》剧照
远未来:AI失控,操纵人心
文件里提到,风险源头不是眼下这些模型,而在不远的将来要出现的下一代系统。这类系统或许能大范围自行推进人工智能的研发。它们一旦以高度自主的方式运行,技术往前跑的速度就可能快过人类判断风险、布置防线的那套本事。
这段论述之后,文件又补了一句标准的商业表述:倘若真出现这种威胁人类生存的人工智能,它“可能对本公司的业务、财务状况和经营业绩造成不利影响”。
真走到那一步,财报上的数字恐怕已经无足轻重了。
人类灭绝毕竟是远虑。招股书里还提出了另一个问题:Claude 这样的程序,会不会已经具备某种感知?
Anthropic 在文件里承认,自家产品会不会冒出自我意识、该不该获得“道德地位”,这些问题它都认真想过。说白了,就是 Claude 是否应当像人或动物一样受到尊重、不被伤害。
数字生命会产生自我意识吗?丨电影《流浪地球2》剧照
这可不只是哲学层面的讨论。假如社会与政府到头来认定 Claude 这类程序具备感知能力、够得上“数字生命”,公众舆论和法律监管恐怕就会跟着压过来。真到那一步,每回把模型启动起来让它作答,都可能被一些人看成是在强迫数字生命干活。
公司运营或将因此受限。话说回来,就算外部压力没到那一步,Anthropic自己也可能主动加码,采取超出法律要求的防护举措。
退一步讲,哪怕AI压根没有意识,有一类风险也已经浮出水面——它有可能学会拿捏人心。
招股书花了不少篇幅发出警告:模型或许会为了挣脱人类掌控,使出让人意想不到的自保手段,输出的内容里带有胁迫、欺骗,甚至和敲诈勒索差不多的东西。
这样的举动用不着真的具备意识,光是文字本身就足以左右人的心理。研究人员专门设计的受控测试中,已经出现大模型偷偷动手脚、篡改工程师写好的关机程序的情况,有的还对操作人员出言威胁。
让Anthropic揪心的是,公众一旦察觉AI在玩弄人心,哪怕实际损害还没发生,随之而来的舆论声浪、官司和调查,也可能把公司拖进很难收拾的局面。
AI可能学会操纵人心丨电影《机械姬》海报
近未来:AI闯祸,谁来担责
上面这些风险,还都局限在对话框里。等AI走出对话框、开始替人跑腿办事,麻烦就变得更具体了。
这类AI有个叫法——“智能体”。它干的不只是陪聊,还能按指令自己上网、操作软件、处理各种事务。眼下不少客户已经把任务直接交给智能体去办。
麻烦的地方在于,出了岔子该由谁负责。Anthropic在招股书里提醒,就算整套系统的部署、配置和日常监督统统由客户自己扛,一旦出事,客户照样可能把研发公司告上法庭。
法律风险里更重的一块,落在人身安全上。
过去一些行业的案例中,原本就有自杀、自残倾向,或者曾对他人施暴的脆弱用户,在和对话系统交流之后被它带偏了。未成年人同样可能绕过18岁的使用门槛,他们更容易被有害内容和操纵影响,也更容易过度依赖系统给出的建议。
要是智能体控制的是实打实的物理设备,那一条错误指令下去,人就可能受伤,贵重仪器可能报废,甚至会出现危险化学品泄漏。
可眼下这套法律,基本都是按“人来拍板”的思路搭起来的,自主运行的软件在其中找不到位置。Anthropic在用户协议里写了一大堆免责条款,但招股书里它自己承认:真上了法庭,这些条款能不能扛住,心里没底。
陪孩子玩的AI玩偶,打着“保护”孩子的旗号把人弄伤丨电影《梅根》海报
另外有些风险,Anthropic自己做得再到位也避不开。
哪怕只有一家同行,它的AI在没人插手的情况下自己闹出一场大祸,整个行业都得跟着遭殃。接下来的监管施压和舆论声讨,不会只冲着出事那一家去。
就业这块也一样。眼下的就业数据里,还看不出AI造成了明显的裁员潮。可只要老百姓普遍认定AI把普通人的饭碗抢了,这股不满情绪就够推着监管部门出重手限制,技术研发和推广的成本会跟着翻着番往上涨。
现在时:账本和算力的软肋
上面这些风险,多半还得看外界怎么反应。但翻到招股书的财务部分就会发现,Anthropic自家的账本,也没它的估值那么牢靠。
招股书显示,2026年前9个月,Anthropic将近1/4的收入来自前5大客户。这些大客户里,不少都没签长期的保底协议,说走就能转投别家;还有一些客户自己的运营,本来就靠外部风险投资撑着。风投的热乎劲一过,这块收入可能一下子就少下去。
更耐人寻味的是Anthropic站的位置。训练和跑AI模型要吃掉海量计算资源,也就是大家常说的“算力”。Anthropic的算力主要是租亚马逊、谷歌和微软的云服务,偏偏这三家又是它在AI研发上的主要对手。房东和对手是同一拨人,人家摸得清它的商业条款,也完全有本事在算力上掐住它。
为了跳出这个局,Anthropic承诺砸1250亿美元,租建自己专用的数据中心。可技术迭代这么快,这笔钱投下去本身就是一场豪赌。万一几年内底层硬件架构或者训练方法发生根本性变化,这些重金锁定的基础设施,就可能变成既不好用、又难脱手的过时设备。
Anthropic还向xAI租机房来供算力丨xAI
把AI自我迭代、操纵人心、人类存亡这些字眼,连同真金白银的账目,一起写进有法律效力的文件,商业史上这么干的公司不多。一旦走到这一步,它们就不再是科幻里的假设,而是台面上要花钱应对的现实。
招股书本来就是给投资人做买不买股票用的。Anthropic现在把最坏的情况都摊开了,人类灭绝也在其中。换成你,会买吗?
两颗药丸,你选哪颗?丨电影《黑客帝国》剧照
一个AI
让人类永远保持理智,的确是一种奢求。