Anthropic内部系统被AI Agent攻破:12小时拿到HR与销售数据
不到 12 小时,研究人员通过商业软件漏洞进入 Anthropic 系统
《华盛顿邮报》拿到的一份Cathedral报告草稿显示,研究人员跑AI Agent还不到12小时,就摸到了进入
Anthropic内部系统的路子。Anthropic之后承认,Cathedral的人确实访问过公司销售、人力资源和IT系统里的部分数据;不过客户与Claude的对话、模型回复、源代码以及模型权重,都没有被碰。
12小时不到,研究人员借商业软件漏洞闯进Anthropic系统
上述报告草稿由《华盛顿邮报》查阅。Cathedral近期向Claude聊天机器人的开发方Anthropic作了通报:自家研究人员找到了通往这家AI公司内部数据和消息系统的入口。
Cathedral的创始团队来自美国政府效率部(DOGE),业务是给美国政府和企业客户提供AI驱动的网络安全工具。按报告的说法,研究人员钻的是Anthropic等众多公司用于行政和销售事务的一款商业软件的漏洞。
跑上AI Agent不到12小时,研究人员就找到了访问Anthropic内部数据的路径。Cathedral报告列出的范围包括会议记录、薪酬与工作邀请细节,还有讨论Anthropic先进AI模型的Slack消息。这次测试走的是Anthropic的安全测试计划,该计划允许外部网络安全专家来测自家系统。
Anthropic在声明中证实,Cathedral研究人员接触到了销售、人力资源和IT系统中的“有限数据”。公司方面称,被碰到的包括部分客户和合作伙伴的商业联系信息,以及少量基础用户账户记录。
与此同时,Anthropic强调,客户发给AI模型的消息、模型给出的回复,还有公司AI系统背后的代码和“模型权重”,研究人员都进不去。这么一来,Cathedral报告里写的会议记录、薪酬信息和Slack消息,跟Anthropic对实际访问范围的描述就对不上了。
按Anthropic的说法,公司监控系统在Cathedral提交报告之前就察觉了部分活动,当天便切断了相关访问权限。公司还表示,没有证据表明Cathedral以外的人利用过这些漏洞。
漏洞出在第三方软件,披露过程双方各执一词
Cathedral是通过Anthropic的网络安全测试计划披露发现的,该计划会对报告漏洞的安全研究人员给予奖励。报告草稿称,Cathedral同时也通知了涉事商业软件供应商,但考虑到安全,没有公开这些公司的名字。
Anthropic表示,涉事商业软件已被停用,等供应商确认漏洞修复后才重新启用。Cathedral报告则称,研究人员“依照安全研究最佳实践,将数据访问量控制在绝对最低限度”。
测试过程合不合计划规则,双方也有分歧。Anthropic认为Cathedral夸大了这些发现所“暗示的国家安全影响”,还称这家初创公司没有完整交代其在Anthropic系统中的全部活动,因此没有完全遵守漏洞奖励计划的规则。
Cathedral一名发言人拒绝置评。接近该公司的消息人士称,研究人员之所以尝试访问Anthropic系统,是想揭示美国领先AI开发商面对的安全挑战。由于发现涉及敏感信息,这名人士要求匿名。
AI编程初创公司Cognition的首席信息安全官Alex Stamos应《华盛顿邮报》之请审阅了Cathedral的发现。他的评价是:“他们发现了一个很严重的问题。”Stamos此前担任斯坦福大学网络政策中心下属斯坦福互联网观察站主任。
在Stamos看来,把第三方应用接进公司系统带来的风险,是“所有人都面临的巨大问题”。他说,Cathedral的发现暴露出Anthropic在管理外部软件供应商使用方式上的“漏洞”,“这是一个非常难解决的问题,但Anthropic本可以做得好得多”。Cognition用着Anthropic及其他AI公司的模型。
事件让外界再度审视AI公司的安全防护
Cathedral的发现,把外界目光再次引向AI公司依赖第三方企业软件的安全风险。普通商业软件一旦出漏洞,就可能变成攻击者闯进大型科技公司内部系统的入口。Cathedral在报告草稿中称,这一事件“揭示了一个严重差距:新兴的攻击能力正在增强,而防御体系没有跟上”。
报告还写道:“普通企业软件中的弱点竟能危及最先进组织的基础设施,这一事实应当为每一家企业敲响警钟。”
本月早些时候,联邦调查局逮捕了一名ChatGPT开发商OpenAI的员工,此人涉嫌在一间高管会议室里放置录音设备。上个月,曾借助Anthropic的Claude聊天机器人侵入OpenAI系统的黑客警告称,AI行业尚未准备好应对自身技术带来的安全风险。
Cathedral由DOGE前成员创立,眼下正寻求政府合同和私营部门机会。投资者给这家公司的估值是14亿美元。联合创始人Gavin Kliger在DOGE任职之后,曾出任五角大楼首席数据官。
数据公司PitchBook的信息显示,Cathedral已从投资者处融资1.6亿美元。知名投资人Marc Andreessen、Shaun Maguire都在该公司董事会任职。
Anthropic员工Jacob Coxon上个月公开辞职。他说自己担心Anthropic在处理危险AI技术时不够负责,其中就包括对传统商业软件的依赖。他在X上发文称,公司押下了“一场傲慢的赌局,而这不该从一家私营公司的Slack上发起”。Slack正是Anthropic和许多其他科技公司使用的商业消息工具。
消息来源: