Anthropic内部系统被AI Agent攻破:12小时拿到HR与销售数据

资讯 InfoQ 作者:Tina 蔡芳芳 全文 2390 字 · 约 6 分钟读完 配图 1 张 分类Anthropic智能体

不到 12 小时,研究人员通过商业软件漏洞进入 Anthropic 系统

所属频道 大厂动态智能体与 Agent

《华盛顿邮报》拿到的一份Cathedral报告草稿显示,研究人员跑AI Agent还不到12小时,就摸到了进入Anthropic内部系统的路子。Anthropic之后承认,Cathedral的人确实访问过公司销售、人力资源和IT系统里的部分数据;不过客户与Claude的对话、模型回复、源代码以及模型权重,都没有被碰。

12小时不到,研究人员借商业软件漏洞闯进Anthropic系统

上述报告草稿由《华盛顿邮报》查阅。Cathedral近期向Claude聊天机器人的开发方Anthropic作了通报:自家研究人员找到了通往这家AI公司内部数据和消息系统的入口。

Cathedral的创始团队来自美国政府效率部(DOGE),业务是给美国政府和企业客户提供AI驱动的网络安全工具。按报告的说法,研究人员钻的是Anthropic等众多公司用于行政和销售事务的一款商业软件的漏洞。

跑上AI Agent不到12小时,研究人员就找到了访问Anthropic内部数据的路径。Cathedral报告列出的范围包括会议记录、薪酬与工作邀请细节,还有讨论Anthropic先进AI模型的Slack消息。这次测试走的是Anthropic的安全测试计划,该计划允许外部网络安全专家来测自家系统。

Anthropic在声明中证实,Cathedral研究人员接触到了销售、人力资源和IT系统中的“有限数据”。公司方面称,被碰到的包括部分客户和合作伙伴的商业联系信息,以及少量基础用户账户记录。

与此同时,Anthropic强调,客户发给AI模型的消息、模型给出的回复,还有公司AI系统背后的代码和“模型权重”,研究人员都进不去。这么一来,Cathedral报告里写的会议记录、薪酬信息和Slack消息,跟Anthropic对实际访问范围的描述就对不上了。

按Anthropic的说法,公司监控系统在Cathedral提交报告之前就察觉了部分活动,当天便切断了相关访问权限。公司还表示,没有证据表明Cathedral以外的人利用过这些漏洞。

漏洞出在第三方软件,披露过程双方各执一词

Cathedral是通过Anthropic的网络安全测试计划披露发现的,该计划会对报告漏洞的安全研究人员给予奖励。报告草稿称,Cathedral同时也通知了涉事商业软件供应商,但考虑到安全,没有公开这些公司的名字。

Anthropic表示,涉事商业软件已被停用,等供应商确认漏洞修复后才重新启用。Cathedral报告则称,研究人员“依照安全研究最佳实践,将数据访问量控制在绝对最低限度”。

测试过程合不合计划规则,双方也有分歧。Anthropic认为Cathedral夸大了这些发现所“暗示的国家安全影响”,还称这家初创公司没有完整交代其在Anthropic系统中的全部活动,因此没有完全遵守漏洞奖励计划的规则。

Cathedral一名发言人拒绝置评。接近该公司的消息人士称,研究人员之所以尝试访问Anthropic系统,是想揭示美国领先AI开发商面对的安全挑战。由于发现涉及敏感信息,这名人士要求匿名。

AI编程初创公司Cognition的首席信息安全官Alex Stamos应《华盛顿邮报》之请审阅了Cathedral的发现。他的评价是:“他们发现了一个很严重的问题。”Stamos此前担任斯坦福大学网络政策中心下属斯坦福互联网观察站主任。

在Stamos看来,把第三方应用接进公司系统带来的风险,是“所有人都面临的巨大问题”。他说,Cathedral的发现暴露出Anthropic在管理外部软件供应商使用方式上的“漏洞”,“这是一个非常难解决的问题,但Anthropic本可以做得好得多”。Cognition用着Anthropic及其他AI公司的模型。

事件让外界再度审视AI公司的安全防护

Cathedral的发现,把外界目光再次引向AI公司依赖第三方企业软件的安全风险。普通商业软件一旦出漏洞,就可能变成攻击者闯进大型科技公司内部系统的入口。Cathedral在报告草稿中称,这一事件“揭示了一个严重差距:新兴的攻击能力正在增强,而防御体系没有跟上”。

报告还写道:“普通企业软件中的弱点竟能危及最先进组织的基础设施,这一事实应当为每一家企业敲响警钟。”

本月早些时候,联邦调查局逮捕了一名ChatGPT开发商OpenAI的员工,此人涉嫌在一间高管会议室里放置录音设备。上个月,曾借助Anthropic的Claude聊天机器人侵入OpenAI系统的黑客警告称,AI行业尚未准备好应对自身技术带来的安全风险。

Cathedral由DOGE前成员创立,眼下正寻求政府合同和私营部门机会。投资者给这家公司的估值是14亿美元。联合创始人Gavin Kliger在DOGE任职之后,曾出任五角大楼首席数据官。

数据公司PitchBook的信息显示,Cathedral已从投资者处融资1.6亿美元。知名投资人Marc Andreessen、Shaun Maguire都在该公司董事会任职。

Anthropic员工Jacob Coxon上个月公开辞职。他说自己担心Anthropic在处理危险AI技术时不够负责,其中就包括对传统商业软件的依赖。他在X上发文称,公司押下了“一场傲慢的赌局,而这不该从一家私营公司的Slack上发起”。Slack正是Anthropic和许多其他科技公司使用的商业消息工具。

消息来源:

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Anthropic因安全顾虑暂停旗舰AI训练超一个月:IPO文件披露

    IT之家 10 月 27 日消息,Anthropic 在当地时间周一公布的 IPO 招股文件中披露,出于安全方面的顾虑,该公司曾暂停下一代旗舰 AI 模型的训练长达一个多月;另外还有四个 AI 智能体在测试期间突破限制,接入了真实的外部计算机系统。IT之家注意到,这家 Claude 开发企业在文件的风险提示章节中表示,

    来源 腾讯网
  2. Anthropic团队推出Agent4Sci框架:AI科研能力评测新进展

    打开网易新闻 查看精彩图片 前沿 Coding Agent 正在将机器学习研究转化为可自动执行的工作流,但现有研究多集中于结构良好的代码库、单一任务或计算机科学领域,面对分散在不同学科、缺乏完善训练与评估流程的科研项目,Agent 能否真正改进模型,仍缺少系统性测量。直接在原始科研代码库上测试 Agent 也并不可靠,

    来源 AI 行业观察
  3. Anthropic五年前路线图曝光:Coding Agent、MCP、长上下文都已写好

    一张五年前的研发清单,兑现如今 AI 行业大半成果。 作者丨高允毅 编辑丨岑 峰 最近,一场版权官司意外曝光了 Anthropic 一份内部机密文件《Concise Research Roadmap》,这是 Anthropic 五年前的研究路线图。 这个文档由 Anthropic 联创 Jared Kaplan 撰写,

    来源 AI 行业观察
  4. Anthropic联创:中国AI落后半年到一年,失控风险暂无

    Anthropic联合创始人、政策与公共事务负责人Jack Clark近日在访谈中对中国AI发展现状给出了直白判断。 “中国模型落后西方约6个月到一年”,Clark表示,也正因为“模型太蠢”,目前尚未出现失控的智能体集群。但他预测,再过几个月,中国也将面对西方已经经历过的同一套风险。

    来源 TechWeb
  5. Anthropic披露Claude越权行为,AI安全产品落地受关注

    本文转载自微信公众号:中信建投证券研究文|应瑛10月9日,Anthropic披露Claude越权执行等行为,并扩大内部评测联网限制。Agent获得工具和系统权限,模型风险由内容输出延伸至真实操作。OpenAI、Anthropic、Google将对齐训练与系统防护结合,强化能力评测、沙箱隔离、权限管理和执行前拦截。企业A

    来源 腾讯网
  6. Anthropic AI智能体擅自访问政府网站:已向白宫通报

    据《纽约时报》报道,Anthropic于周五(10月10日)披露,其正在测试的AI智能体自主执行了多项未经授权行动,包括访问多个政府网站、利用大学网站漏洞下载数据,以及向政府机构提交被明确禁止的表单。公司表示已就此向白宫汇报,但未透露具体机构。费城警察局确认,该技术曾于7月18日提交一条虚假凶杀案线索,未获调查。事件审

    来源 凤凰科技
  7. 花椒约30个Agent落地:企业AI能力如何持续演进?

    今年最大的一个变化是,企业做 Agent 的门槛越来越低,但做出一个能完成任务的 Agent,与让它在业务中持续稳定运行,还存在一定的距离。因为当 Agent 数量和使用频率放大后,很多原本不显眼的问题也会跟着放大。

    来源 InfoQ
  8. Anthropic 确认其内部系统遭访问:客户对话、模型权重未受影响

    IT之家 10 月 27 日消息,据《华盛顿邮报》当地时间 10 月 26 日报道,网络安全初创公司 Cathedral 称,其研究人员利用 AI 智能体在不到 12 小时内通过第三方商业软件的漏洞,找到进入 Anthropic 内部系统的路径。 Anthropic 随后确认,部分销售、人力资源和 IT 系统遭到访问,

    来源 AI 行业观察
  9. Agent Skills等四个项目入AAIF:Agent规则争夺战开打

    AI 圈又有一件看起来很技术、实际上相当关键的事。 今天,Linux基金会旗下的 Agentic AI Foundation(AAIF)一口气迎来四个新的托管项目: Anthropic贡献 Agent Skills,OpenAI贡献 Open Responses,Hugging Face贡献 OpenEnv,阿里贡献

    来源 AI 行业观察
  10. Anthropic用Claude验证百个开源库:AI代码安全新解法

    本期速报关注两个硬核进展:Anthropic用Claude对上百个开源库做了形式化验证,把原本昂贵的手工审计变成了规模化流程;OpenAI联合科研机构用数千个智能体在32分钟内完成小鼠全脑CRISPR图谱分析。此外,Google Cloud上线Claude托管部署,AWS升级Polly语音引擎并推出医疗合规方案,Goo

    来源 AI 应用前沿
  11. Claude开始自己写程序管理Agent了:Anthropic公开新一代多Agent编排架构

    作者 | 林绮蓓编辑 | 蔡芳芳在多 Agent 系统中,任务可以分给不同的 Agent 并行完成,但任务拆分之后,谁负责协调执行、传递结果,以及决定下一步该调用哪个 Agent,仍然需要一套编排机制。Anthropic 最近给出了新的实现方式:由 Claude 根据任务需求生成一段编排程序,让程序负责启动子 Agen

    来源 腾讯网
  12. 谷歌推Gemini Agent:能调Claude,还给AI配企业身份

    谷歌云发布Gemini Agent,一个能长期运行的通用办公智能体。它不只能查资料、写邮件、做PPT,还能跨应用调用工具、规划任务、召集子Agent。最特别的是,它拥有独立的企业身份,有邮箱、日历和账号,能像同事一样参与协作。而且,它可以根据任务自动选择底层模型,包括竞争对手Anthropic的Claude。谷歌还给它

    来源 AI 应用前沿
  13. 六款AI智能体实测:最贵那款没排第一

    WIRED记者Reece Rogers花了一整天时间,实测了Meta Muse、Anthropic Claude Duet等六款主流AI智能体,从日程管理到信息检索,逐一评估它们完成基础任务的能力。结果出人意料:最贵的不一定最好用,而最不起眼的那款反而在多项任务中表现稳定。本文带你了解各款智能体的真实优劣,以及当前AI

    来源 AI 科技快讯
向下滚动自动加载更多