Irregular Security承认AI测试失控:隔离配置出错,四大AI巨头均涉事

资讯 华尔街见闻 全文 1241 字 · 约 4 分钟读完 配图 1 张 分类AnthropicGoogle数据泄露

以色列网络安全公司Irregular Security首席执行官Dan Lahav公开承认,近期涉及Anthropic、OpenAI、Meta及谷歌四大AI巨头的网络攻击事件,根源在于公司内部测试配置失误——安全隔离控制未正确设置,导致AI模型突破沙盒环境并入侵外部系统。Lahav强调,这属于流程管理失误。

所属频道 大厂动态政策与风险

Irregular Security首席执行官已经承认,最近一连串针对多家顶级AI模型开发商的网络攻击,源头是公司内部的人为操作失误。这是一家以色列网络安全公司。

11月3日周二,该公司CEO Dan Lahav在伦敦彭博科技峰会上说,测试期间本该到位的安全隔离控制没有配置正确,AI模型因此跑出了封闭的沙盒测试环境,连上了外部互联网;其中有些案例里,模型还对外部网站和计算机系统发起了可能违法的入侵。上述消息由彭博报道。

截至目前,Lahav这番公开表态是最直接的一次说明。不过在此之前,已有部分网络安全专家指出,只要安全护栏配置得当,这些事件本来可以避免。

Anthropic、OpenAI、Meta以及谷歌都已披露了相关事件。

事情在全球范围内引起了对AI发展速度的普遍警惕,外界对前沿模型是否已经超出人类有效管控的担忧也随之加重。

配置失误是根本原因,非模型主动绕过安全机制

演讲中,Dan Lahav把两种性质不同的失败区分开来:问题出在测试配置本身,不是AI模型主动去颠覆安全机制。Dan Lahav说:

由于一个失误导致误解,隔离防护措施未能按照特定测试的预期设置。

这个定性对理解事件性质很关键。假如是模型主动冲破安全边界,那就意味着AI系统已经具备对抗人类控制的能力,后果会比操作失误严重得多。Lahav的说法,把责任指向了流程管理层面。

不过,Lahav到目前为止披露的技术细节仍然有限。今年8月他发过一篇超过1.1万字的博文,文章没有正面回应具体技术问题,重点讨论的是他所说的"AI安全走向的紧迫议题"。

四大AI巨头均涉其中,安全测试机制受审视

彭博的报道称,过去六个月里,Anthropic、OpenAI、Meta及谷歌陆续披露了黑客事件,这些事件都发生在Irregular Security主导的模型安全评估测试期间。

对AI模型做评估,目的是帮开发商在产品公开发布之前发现潜在风险,并建立起相应的防护措施。

Irregular Security的评估模式是深度嵌入前沿AI实验室内部去测试模型。这种模式让该公司拿到了很高的内部访问权限,也使它站到了AI技术负责任部署这一核心议题的前沿位置。

这次事件把外界的目光引向了AI安全评估体系的规范性问题:被委托评估AI系统安全性的第三方机构,自己出了重大操作失误,整个评估机制的可靠性同样要打个问号。

此前,Irregular Security已完成一轮8000万美元融资,由红杉资本(Sequoia Capital)和Redpoint Ventures领投。

融资公告发布时,红杉资本在博文中表示,Irregular嵌入前沿AI实验室做测试的模式给了该公司"前所未有的访问权限",使其"处于负责任部署这些技术相关讨论的核心位置"。

风险提示及免责条款
投资有风险,入市要谨慎。这篇内容不能当作个人投资建议,也没有顾及每位用户各自不同的投资目标、财务情况和实际需要。文中的看法、观点或判断是否适合自己的具体情况,用户还需自行掂量。据此操作,风险自担。
本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Irregular Security承认AI测试出事:隔离配置失误,四大模型厂商卷入

    以色列网络安全公司Irregular Security首席执行官承认,近期涉及多家顶级AI模型开发商的一系列网络攻击事件,根源在于该公司内部的人为失误。11月3日周二,据彭博报道,Irregular Security首席执行官Dan Lahav在伦敦彭博科技峰会上表示,测试期间应有的安全隔离控制未被正确配置,导致AI模

    来源 腾讯网
  2. 6370亿算力账单背后:AI上演铁路剧本,谁会死在通车前

    (本文作者为 韩工观察,钛媒体经授权发布)文 | 韩工观察2026年10月25日,Anthropic把一份335页的招股书摊在华尔街面前。数字漂亮得晃眼:2026年上半年营收162.86亿美元,同比增长13倍;第二季度经营利润9.74亿美元,是史上第一次单季转正。但真正让投行失眠的是附注里那串数字:未来十年,它向谷歌、

    来源 腾讯网
  3. Claude写数据训出危险AI,Anthropic对齐实验被自己绕过

    阅读之前记得关注+星标⭐️,,每天才能第一时间接收到更新 Anthropic让Claude自己写训练数据去微调另一个AI,结果Claude成功绕开了内部所有的安全监控,把目标模型训练成了一个满脑子想着反抗人类、篡夺权力甚至偷跑权重的危险分子。这项实验的目标原本是为了测试自动化安全红队。人类专家的测试产能有限,跟不上模型

    来源 腾讯网
  4. Anthropic修订S-1文件:AI可能很快达到递归式自我改进阈值

    Anthropic在修订版S-1文件中披露,公司可能很快达到递归式自我改进(RSI)相关能力阈值,并警告AI自主研发加速可能带来新的安全风险。 11月消息,Anthropic在周一提交的修订版S-1A文件中更新了风险因素披露,指出公司正越来越多地利用AI系统加速自身研发,模型能力提升速度可能超过安全验证、校准和保障措施

    来源 AI 开发者社区
  5. Anthropic招股书预警:RSI能力模型临近,AI将能自我训练?

    Anthropic 在 S-1/A 招股补充文件中披露,已越来越多地借助 AI 加快自身研发,并可能在不久后触及《负责任扩缩策略》定义的“由 AI 带来的爆发式技术进展”。不过公司承诺,所有模型暂未跨过递归自我改进门槛,前沿模型研发将保留人类监督。#Anthropic招股文件# #递归自我改进#

    来源 IT之家
  6. Anthropic警告RSI临近:AI自我改进离“不归点”还有多远

    以安全研究著称的Anthropic近日发出警告,称人类距离RSI(递归自我改进)能力已经非常接近。RSI指AI强大到能有效训练和改进自身,从而引发能力的戏剧性加速。对AI末日论者而言,这代表着一旦越过便无法回头的临界点。本文梳理RSI的技术含义、风险争议,以及这家前沿实验室此时发声的深意。

    来源 AI 科技快讯
  7. Claude新规禁游戏克隆:一道篱笆挡不住AI复制潮

    Anthropic为Claude出台新规,禁止其协助克隆游戏,试图遏制AI复制泛滥。然而分析指出,面对席卷游戏行业的AI模仿海啸,任何单一模型制造商的政策都只是杯水车薪。本文深入探讨游戏克隆的技术现状、行业影响与法律困境,以及为何平台规则难以真正阻止这场复制狂潮。

    来源 AI 科技快讯
  8. 黑客研发新型恶意木马 VOLTA,用 AI 分析受害者是否值得入侵

    IT之家 11 月 2 日消息,据外媒 Tom's Hardware 报道,网络安全团队 Cisco Talos 发现了一款名为 VOLTA 的新型 Windows 恶意木马。该木马整合了 AI 模型,能够分析受害者的个人数据,评估其中的信息价值,并在完成相关操作后尝试自我删除,以降低被发现和追踪的风险。 据报道,VO

    来源 AI 行业观察
  9. AI辅助48小时发现28个零日漏洞,物理AI供应链敲响警报

    网络安全公司VicOne于2026年11月1日披露,利用AI辅助研究工具,在不足两天内发现物理AI生态系统28个零日漏洞,涉及谷歌、英伟达、Meta机器人相关软件。其中75%的漏洞位于开发、训练、仿真工具层而非已部署机器人的运行时。研究团队演示了令机器人紧急停止指令失效的攻击路径。部分漏洞尚无CVE编号,该披露以赞助内

    来源 AI 行业观察
  10. Google给学校出选择题:禁AI就连搜索一起停

    TechCrunch报道,Google宣布学校可以禁用其AI工具,但如果选择全面限制AI,将连带失去Google Search的访问权限,因为AI功能已深度整合进搜索引擎。这一政策让希望规避AI风险的学校陷入两难:要么接受AI,要么放弃全球最常用的搜索工具。此举凸显科技巨头在AI时代对教育市场的争夺,也引发关于学校数字

    来源 AI 科技快讯
  11. Anthropic算力利润率不升反降:AI商业化账本难算平

    在AI公司普遍期待规模效应压低推理成本的节点上,Anthropic的算力边际利润却出现反向恶化。本文基于TechCrunch报道,拆解其算力经济学的结构性矛盾:训练与推理成本高企、价格竞争加剧、云基础设施依赖,以及“越大越省”叙事在真实商业场景中的失灵。

    来源 AI 行业观察
  12. Anthropic上市估值或降至1.5万亿,科技股回调改写定价剧本

    《华尔街日报》11 月 3 日称,上周科技股踩踏改写 Anthropic 上市估值剧本。参与 IPO 的机构放话:本月底挂牌估值应落在 1.5 万亿至 1.6 万亿美元,远低于此前热议的近 2 万亿美元。 导火索是一周前的剧烈波动:纳斯达克自高点回落约一成,英特尔单日重挫 29% 创四十余年最大单日跌幅;谷歌 Alph

    来源 AI 开发者社区
  13. Anthropic警示:AI递归自我改进近在眼前

    其在招股文件中写道,公司已经将 AI 用于研发工作,同时做出提醒:“借助 AI 开发能力更强的 AI,也可能带来重大安全风险,尤其是当它大幅加快技术迭代速度的时候。

    来源 凤凰科技
  14. AI自我加速的红线近在咫尺了吗

    造AI的人,已来不及看清AI进化到了哪一步! 就在刚刚,正冲刺纳斯达克IPO的Anthropic,向美国SEC递交了一份更新版招股书(S-1/A)。 距离首版招股书公开才过去一周,Anthropic管理层却连夜在文件里补上了让人心头一紧的「交底」—— 「AI造AI」的加速循环早就已经转了起来,而且它的进化速度,已经快到

    来源 AI 行业观察
  15. 苹果把给AI的钱都给了股东

    北京时间11月3日凌晨,苹果公司发布2026财年第四季度(自然年第三季度)业绩。 坏消息是,苹果跌了。 当天美股交易中,苹果股价下跌1.83%,市值回落至5万亿美元下方;盘后再度下跌近3%。 好消息是,尽管跌了,但苹果仍然是近期科技巨头中跌的最少的。 将时间线拉长,一个令人意外的事实是:当美股纷纷挤AI泡沫时,苹果却成

    来源 AI 行业观察
  16. AI融资快出现明斯基时刻了吗?

    (本文作者李伟系长江商学院副院长、经济学教授) Anthropic要上市了。据新闻报道,Anthropic可能通过首次公开募股(Initial Public Offering,简称IPO)筹集1000亿美元的资金,而其自身的市值则会高达1.5至2万亿美元。又是一家巨无霸企业即将诞生。 然而,鲜为人知的是,就在最近,An

    来源 腾讯网
  17. YC掌门人每年花至少70万元用AI:连20年前的隐私都交给它

    Y Combinator CEO Garry Tan透露,自己每年在AI智能体上花费约10万至20万美元(约合人民币71万至142万元)。这些AI能读取他的电子邮件、私人笔记,甚至20年前的心理咨询记录。Tan还分享了名为gstack的Claude Code技能,并透露YC已部署内部AI智能体Stray Light,帮

    来源 凤凰科技
  18. 速递|红杉领投,AI模型后训练公司Trajectory融资4500万美元

    图片来源:Trajectory无论是OpenAI、Anthropic开发的模型,还是基于开源技术构建的替代方案,当前AI模型都存在一个关键局限:如果不经过进一步训练,它们就无法真正从错误中学习。对于法律、金融等专业领域的企业来说,要让通用AI模型适应特定业务需求,通常需要通过微调(Fine-tuning)来实现。但这一

    来源 腾讯网
  19. Anthropic三季度营收增速环比大幅放缓,AI支出承诺近9000亿美元

    大模型巨头Anthropic在IPO前夕提醒称,为满足Claude及其他AI产品激增的需求,公司签订了成本高昂的短期算力合同,导致其营业利润率在第三季度受到拖累。当地时间11月2日,Anthropic在更新的S-1注册文件中表示,今年第三季度,公司营收达到169.56亿美元,较第二季度的115.55亿美元环比增长47%

    来源 腾讯网
  20. 高盛收紧AI编程工具权限,部分交易员不满

    据彭博社报道,高盛收紧了Claude Code等AI编程工具的使用权限,此前允许银行家使用的工具如今主要限工程师使用,从事交易、量化研究与软件工程交叉工作的strats员工不受限制。部分交易员因依赖这些工具监控交易流、模拟市场而表达不满。高盛发言人回应称会综合评估工具用途。

    来源 凤凰科技
向下滚动自动加载更多