Anthropic登陆纳斯达克:810亿美元IPO背后,AI安全承诺面临拷问
当地时间11月19日,开发Claude语言大模型的美国人工智能企业Anthropic公司,在美国纳斯达克交易所挂牌上市,首次公开募股融资金额超810亿美元,超过Space X在今年6月创下的750亿美元的历史最高纪录,成为全球最大IPO。 从成立之初,Anthropic就强调自己与其他AI公司的不同之处在于“安全和责任
11月19日(当地时间),美国人工智能企业
Anthropic在纳斯达克交易所挂牌上市。这家开发Claude语言大模型的公司,IPO融资金额超过810亿美元,一举超过Space X今年6月创下的750亿美元历史最高纪录,成为全球最大IPO。
自成立起,Anthropic就反复强调自己与别的AI公司不同,落脚点在“安全和责任”,对外塑造的形象是把公共利益放在商业利益之上的AI公司。在提交给美国证券交易委员会(SEC)的IPO招股书中,AI安全同样被列为核心公共利益使命,公司承诺负责任地开发和维护先进AI,让其长期造福人类。
就在Anthropic上市前三天,美国加利福尼亚州总检察长罗布·邦塔16日宣布,正式对美国人工智能企业OpenAI提起诉讼,指控其违反多部法律,制造了网络攻击事件并对公共安全构成威胁。此后OpenAI宣布,已邀请第三方机构的独立安全研究人员,依据各项安全措施对其模型展开评估。
AI发展势头正猛,人工智能公司在策略和技术上究竟能不能真正摆平安全、公共利益和商业利益之间的关系?围绕这个问题,红星新闻记者专访了浙江大学计算机科学与技术学院百人计划研究员、博导郑天航,他的主要研究方向是人工智能大模型安全。
11月19日,Anthropic公司在美国纳斯达克交易所挂牌上市。上市之后,它还能不能守住安全承诺?
郑天航对红星新闻记者表示,Anthropic上市之后要盈利、要维持股价,发布的通用大模型版本肯定还是性能优先。
在他看来,从技术上说,安全本身就会带来一些限制。安全对齐做得再到位,过度拒答(False Positive)的问题也无法完全躲开。他举了个例子:代码是几家大模型厂商都在抢的核心赛道,假设一名计算机安全研究人员想让模型帮忙检查本地系统的漏洞,这个需求本身正当,但换成安全对齐程度很高的模型,请求就有可能被拒绝。
安全对齐还可能拖累模型在Token开销上的竞争力。要做安全对齐,模型或许得在思维链里塞进安全判断的环节,Token开销随之增加,运行速度也可能变慢。所以不管从效用还是效率看,安全对齐程度更高的模型,“在市场竞争中不见得具有优势”。
不过郑天航也提到,到了智能体(Agent)场景,安全或许反而会成为一项优势。大模型若能真正控制自己的系统、执行实际操作,用户对安全性的要求会更高。
他还认为,上市公司的决策者要兼顾股东、董事等各方利益,有可能针对不同应用场景,推出安全对齐程度不同的模型。
大模型安全评估体系还不成熟。OpenAI等人工智能企业眼下邀请第三方机构独立安全研究人员来做评估,郑天航的看法是,这套机制更接近道德约束,而非根本性的法律约束。评估机构就算发现了问题,之后又能怎样?目前并不明确。
技术层面同样有疑问。外部评估机构的基础能力能不能达到OpenAI整条技术流水线的水平,“我个人是存疑的”,郑天航说,从技术上讲,评估机构的能力大概率不如OpenAI。
他分析说,评估一个系统,先得对整条技术流水线非常熟悉,甚至可能要做得比被评估企业更好,才有可能找出流水线上每一处可能出现的漏洞和问题。可眼下学界也好、工业界也好,大模型安全评估技术都还在发展阶段,尚未形成特别成熟的体系。郑天航判断,评估大概率“根本发现不了一些关键性问题”。
再说,评估机构即便发现了安全问题,能不能保持完全中立,又能给企业带来怎样的实际影响,同样存疑。评估范围和人员都受限的情况下,技术能力更强的企业完全可能把不希望被发现的信息藏起来。
郑天航强调,技术层面也好、非技术层面也好,现阶段想做到全面、系统的大模型安全评估,可能性都很低。安全评估技术往前走,更多取决于公共利益的需求;可没有实际经济利益,它也很难与利益驱动下迅猛发展的模型能力相抗衡。