Anthropic登陆纳斯达克,专家郑天航直言大模型安全评估体系尚不成熟
当地时间11月19日,开发Claude语言大模型的美国人工智能企业Anthropic公司,在美国纳斯达克交易所挂牌上市,首次公开募股融资金额超810亿美元,超过Space X在今年6月创下的750亿美元的历史最高纪录,成为全球最大IPO。从成立之初,Anthropic就强调自己与其他AI公司的不同之处在于“安全和责任”
当地时间11月19日,
Anthropic在美国纳斯达克交易所挂牌上市。这家开发公司从诞生起就把“安全和责任”挂在嘴边,称自己与别的AI公司不一样,是把公共利益放在商业利益前头的那一个。
Anthropic在提交
上市前三天,也就是16日,美国加利福尼亚州总检察长罗布·邦塔宣布,正式对美国人工智能企业
之后OpenAI表示,已经请了第三方机构的独立安全研究人员,按照各项安全措施来评估自家模型。
人工智能跑得这么快,这些公司在策略和技术上真能摆平安全、公共利益和商业利益吗?红星新闻记者为此专访了主要研究方向为人工智能大模型安全的
[[保留1]]
[[保留2]]
Anthropic能不能守住安全承诺
上市以后还守不守得住“安全承诺”?郑天航对红星新闻记者说,Anthropic上市之后要盈利、要撑住股价,发出来的通用大模型版本肯定还是性能优先。
郑天航认为,从技术上看,安全本身就会带来一些限制,安全对齐做得再怎么样,也不可能完全避免
再说,安全对齐还可能影响模型在
所以不管看效用还是看效率,安全对齐程度更高的模型,“在市场竞争中不见得具有优势”。
郑天航同时提到,在
他还认为,上市公司的决策者要顾及股东、董事等各方利益,就有可能针对不同应用场景,推出安全对齐程度不一样的模型。
大模型安全评估体系还不成熟
对OpenAI等企业请第三方机构独立安全研究人员这套做法,郑天航的看法是:它更像道德约束,不是根本性的法律约束。评估机构查出问题又如何?后续怎么办,目前并不明确。
技术层面,郑天航认为,外部评估机构的基础能力能不能达到OpenAI整条
他分析说,评估一个系统,先得对整条
另外,就算评估机构发现了安全问题,能不能保持完全中立,或者能给企业带来什么实际影响,也都存疑。评估范围和人员都受限的情况下,技术能力更强的企业完全有可能把一些不想被发现的信息藏起来。
郑天航强调,技术层面也好,非技术层面也好,现阶段想做出全面、系统的大模型安全评估,可能性都很低。安全评估技术怎么发展,更多取决于公共利益的需求;可没有实际经济利益,它也很难跟利益驱动下迅猛发展的模型能力掰手腕。